1 00:00:01,900 --> 00:00:04,700 ♪ ♪ 2 00:00:06,800 --> 00:00:08,733 SARAH BRAYNE: We leven in dit tijdperk waar 3 00:00:08,733 --> 00:00:11,033 we laten digitale sporen achter gedurende de hele cursus 4 00:00:11,033 --> 00:00:13,133 van ons dagelijks leven. 5 00:00:13,133 --> 00:00:14,866 ANDY CLARNO: Wat zijn deze gegevens, 6 00:00:14,866 --> 00:00:16,133 hoe wordt het verzameld, hoe wordt het gebruikt? 7 00:00:16,133 --> 00:00:20,700 VERTELLER: Eén manier waarop het wordt gebruikt is om voorspellingen te doen 8 00:00:20,700 --> 00:00:22,033 over wie zich zou kunnen engageren een misdaad... 9 00:00:22,033 --> 00:00:23,833 Hé, geef mij alles Jouw geld, kerel! 10 00:00:23,833 --> 00:00:25,366 VERTELLER: ...en wie borgtocht moet krijgen. 11 00:00:25,366 --> 00:00:27,300 RECHTER: Bij tel één worden er kosten in rekening gebracht met intimidatie van misdrijven... 12 00:00:27,300 --> 00:00:30,300 ANDREW FERGUSON: Het idee is dat Als je naar misdaden uit het verleden kijkt, 13 00:00:30,300 --> 00:00:32,833 je zou het misschien kunnen voorspellen de toekomst. 14 00:00:32,833 --> 00:00:34,933 WILLEM ISAAC: Wij willen veiligere gemeenschappen, 15 00:00:34,933 --> 00:00:36,633 wij willen samenlevingen die dat wel zijn minder opgesloten. 16 00:00:36,633 --> 00:00:39,433 VERTELLER: Maar is dat wat we krijgen? 17 00:00:39,433 --> 00:00:41,066 Zijn de voorspellingen betrouwbaar? 18 00:00:41,066 --> 00:00:43,566 CATHY O'NEIL: Ik denk dat algoritmen dat kunnen, 19 00:00:43,566 --> 00:00:44,833 in veel gevallen, beter zijn dan mensen. 20 00:00:44,833 --> 00:00:47,333 Maar natuurlijk algoritmen geen bewustzijn hebben. 21 00:00:47,333 --> 00:00:50,233 Het algoritme weet het alleen wat het gevoerd heeft. 22 00:00:50,233 --> 00:00:51,300 RUHA BENJAMIN: Omdat het technologie is, 23 00:00:51,300 --> 00:00:54,000 we stellen ze niet in vraag hoeveel we ook zouden kunnen 24 00:00:54,000 --> 00:00:56,833 een racistische rechter of een racistische officier. 25 00:00:56,833 --> 00:01:00,033 Zij zitten achter dit fineer van neutraliteit. 26 00:01:00,033 --> 00:01:03,233 ISAAC: Wij moeten het weten wie is verantwoordelijk 27 00:01:03,233 --> 00:01:06,333 wanneer systemen schade oplopen de gemeenschappen 28 00:01:06,333 --> 00:01:07,600 dat ze zijn ontworpen om te dienen. 29 00:01:07,600 --> 00:01:11,600 VERTELLER: Kunnen we de gerechtigheid vertrouwen? van voorspellende algoritmen? 30 00:01:11,600 --> 00:01:13,100 En moeten wij? 31 00:01:13,100 --> 00:01:14,900 "Computers versus misdaad," 32 00:01:14,900 --> 00:01:17,733 nu op "NOVA." 33 00:01:39,900 --> 00:01:42,000 (computers opstarten) 34 00:01:42,000 --> 00:01:44,766 ♪ ♪ 35 00:01:44,766 --> 00:01:47,433 VERTELLER: We leven in een wereld van big data, 36 00:01:47,433 --> 00:01:49,666 waar computers kijken voor patronen 37 00:01:49,666 --> 00:01:52,200 in omvangrijke collecties van informatie 38 00:01:52,200 --> 00:01:54,033 om de toekomst te voorspellen. 39 00:01:54,033 --> 00:01:58,700 En we zijn afhankelijk van hun nauwkeurigheid. 40 00:01:58,700 --> 00:02:00,500 Is het een goedemorgen om te joggen? 41 00:02:00,500 --> 00:02:02,966 Zal dit kanker worden? 42 00:02:02,966 --> 00:02:05,366 Welke film moet ik kiezen? 43 00:02:05,366 --> 00:02:08,033 De beste manier om verkeer te verslaan? 44 00:02:08,033 --> 00:02:09,766 Uw computer kan het u vertellen. 45 00:02:09,766 --> 00:02:13,400 Soortgelijke computerprogramma's, voorspellende algoritmen genoemd, 46 00:02:13,400 --> 00:02:17,000 zijn bezig met het delven van big data voorspellingen te doen 47 00:02:17,000 --> 00:02:19,266 about crime and punishment-- 48 00:02:19,266 --> 00:02:22,633 opnieuw uitvinden hoe onze strafrechtsysteem werkt. 49 00:02:22,633 --> 00:02:24,666 Politiebureaus hebben hiervan gebruik gemaakt deze computeralgoritmen 50 00:02:24,666 --> 00:02:30,200 in een poging te voorspellen waar de volgende misdaad zal plaatsvinden 51 00:02:30,200 --> 00:02:31,866 en zelfs wie de dader is zal zijn. 52 00:02:31,866 --> 00:02:34,200 ASSISTENT-DISTRICT-ADVOCAAT: Hier is de staat aanbevelen... 53 00:02:34,200 --> 00:02:35,000 VERTELLER: Rechters gebruiken ze 54 00:02:35,000 --> 00:02:37,100 om te bepalen wie borgtocht moet krijgen 55 00:02:37,100 --> 00:02:38,566 en wie niet. 56 00:02:38,566 --> 00:02:41,200 RECHTER: Mocht u niet verschijnen De volgende keer krijg je geen borg. 57 00:02:41,200 --> 00:02:44,166 VERTELLER: Het klinkt misschien zo de politie van de toekomst 58 00:02:44,166 --> 00:02:45,666 in de film "Minderheidsrapport." Ik plaats je onder arrest 59 00:02:45,666 --> 00:02:47,633 voor de toekomstige moord van Sarah Marks. 60 00:02:47,633 --> 00:02:49,566 VERTELLER: Maar fictie is dat niet. 61 00:02:49,566 --> 00:02:55,133 Hoe luiden deze voorspellingen eigenlijk werken? 62 00:02:55,133 --> 00:02:56,933 Kunnen computeralgoritmen 63 00:02:56,933 --> 00:03:01,433 maken ons strafrechtelijk systeem rechtvaardiger? 64 00:03:01,433 --> 00:03:08,300 Zijn deze algoritmen werkelijk eerlijk? en vrij van menselijke vooroordelen? 65 00:03:11,200 --> 00:03:12,300 ANDREW PAPACHRISTOS: Ik ben opgegroeid in Chicago 66 00:03:12,300 --> 00:03:14,766 in de jaren tachtig en begin jaren negentig. 67 00:03:14,766 --> 00:03:21,666 ♪ ♪ 68 00:03:24,300 --> 00:03:26,466 Mijn vader was een immigrant uit Griekenland, 69 00:03:26,466 --> 00:03:29,700 wij hebben in mijn gewerkt familierestaurant, 70 00:03:29,700 --> 00:03:31,266 genaamd KaMar's. 71 00:03:31,266 --> 00:03:37,000 VERTELLER: Andreas Papachristos was een 16-jarig kind 72 00:03:37,000 --> 00:03:39,766 aan de noordkant van Chicago in de jaren negentig. 73 00:03:39,766 --> 00:03:42,933 Ik heb een groot deel van mijn formatieve tijd besteed jaar bustafels, 74 00:03:42,933 --> 00:03:47,400 mensen hamburgers serveren en gyros. 75 00:03:47,400 --> 00:03:48,933 Het was een soort geheel familie aangelegenheid. 76 00:03:48,933 --> 00:03:53,933 VERTELLER: Young Papachristos was aware de straten kunnen gevaarlijk zijn, 77 00:03:53,933 --> 00:04:00,033 maar had zich het geweld nooit voorgesteld hem of zijn familie zou raken. 78 00:04:00,033 --> 00:04:02,866 REPORTER: Nog twee bendegerelateerde moorden maandagavond. 79 00:04:02,866 --> 00:04:05,166 PAPACHRISTOS: En natuurlijk, weet je, de jaren '80 en '90 in Chicago 80 00:04:05,166 --> 00:04:06,633 was een deel van de historisch gezien meest gewelddadige periodes in Chicago. 81 00:04:06,633 --> 00:04:11,700 Drugsmarkten op straathoeken, straatorganisaties. 82 00:04:11,700 --> 00:04:14,933 En dan net als heel veel anderen bedrijven op ons, op ons blok 83 00:04:14,933 --> 00:04:16,166 en in onze buurt, 84 00:04:16,166 --> 00:04:19,466 local gangs tried to extort mijn familie en het bedrijf. 85 00:04:19,466 --> 00:04:23,466 En mijn vader was aan het rennen KaMar bestaat 30 jaar 86 00:04:23,466 --> 00:04:24,866 en zei gewoon nee. 87 00:04:24,866 --> 00:04:27,066 ♪ ♪ 88 00:04:27,066 --> 00:04:32,166 (sirenes loeien) 89 00:04:32,166 --> 00:04:37,066 VERTELLER: Toen, op een avond, de familie restaurant tot de grond toe afgebrand. 90 00:04:37,066 --> 00:04:40,066 De politie vermoedde brandstichting. 91 00:04:40,066 --> 00:04:42,033 PAPACHRISTOS: Het was een hele schok aan onze familie, 92 00:04:42,033 --> 00:04:43,300 want iedereen in de buurt werkte 93 00:04:43,300 --> 00:04:45,866 op een gegeven moment in het restaurant in hun leven. 94 00:04:45,866 --> 00:04:51,533 En mijn ouders verloren 30 jaar van hun leven. 95 00:04:51,533 --> 00:04:54,500 Dat was er echt één van gebeurtenissen waar ik zin in had 96 00:04:54,500 --> 00:04:55,466 geweld begrijpen. 97 00:04:55,466 --> 00:04:56,900 Hoe kan dit gebeuren? 98 00:04:56,900 --> 00:04:59,200 ♪ ♪ 99 00:04:59,200 --> 00:05:00,466 VERTELLER: Ongeveer een decennium later, 100 00:05:00,466 --> 00:05:06,066 Papachristos was afgestudeerd leerling op zoek naar antwoorden. 101 00:05:06,066 --> 00:05:07,100 PAPACHRISTOS: Op de graduate school, 102 00:05:07,100 --> 00:05:11,166 Ik was bezig een geweldpreventieprogramma 103 00:05:11,166 --> 00:05:12,133 dat samenbracht leden van de gemeenschap, 104 00:05:12,133 --> 00:05:17,300 inclusief straatwerk werknemers. 105 00:05:17,300 --> 00:05:19,333 En wij zaten aan een tafel, 106 00:05:19,333 --> 00:05:21,566 en een van deze Hulpverleners vroegen mij: 107 00:05:21,566 --> 00:05:22,866 de universiteitsstudent, 108 00:05:22,866 --> 00:05:24,766 "Wie is de volgende? 109 00:05:24,766 --> 00:05:27,133 Wie wordt er als volgende neergeschoten?" 110 00:05:30,533 --> 00:05:32,900 En waar dat toe leidde zat ik 111 00:05:32,900 --> 00:05:36,566 met stapels schieten en, en moorddossiers 112 00:05:36,566 --> 00:05:39,500 met een rode pen en een notitieboekje, 113 00:05:39,500 --> 00:05:41,633 door deze met de hand te maken netwerk afbeeldingen 114 00:05:41,633 --> 00:05:43,300 van, deze persoon heeft dit gefilmd person, 115 00:05:43,300 --> 00:05:46,033 en deze persoon was erbij betrokken met deze groep en dit evenement, 116 00:05:46,033 --> 00:05:49,600 en het creëren van een web van deze relaties. 117 00:05:49,600 --> 00:05:50,933 En toen leerde ik dat 118 00:05:50,933 --> 00:05:52,966 er is deze hele wetenschap over netwerken. 119 00:05:52,966 --> 00:05:55,366 Ik hoefde niet uit te vinden wat dan ook. 120 00:05:55,366 --> 00:05:57,366 ♪ ♪ 121 00:05:57,366 --> 00:06:00,633 VERTELLER: Analyse van sociale netwerken had al invloed 122 00:06:00,633 --> 00:06:01,800 populaire cultuur. 123 00:06:01,800 --> 00:06:07,200 "Zes graden van scheiding" was een toneelstuk op Broadway. 124 00:06:07,200 --> 00:06:10,933 En toen was er Zes graden van Kevin Bacon. 125 00:06:10,933 --> 00:06:12,366 PAPACHRISTOS: Het idee was, jij zou dit spel spelen, 126 00:06:12,366 --> 00:06:15,100 en wie de kortste afstand tot Kevin Bacon 127 00:06:15,100 --> 00:06:16,733 zou winnen. 128 00:06:16,733 --> 00:06:19,533 Dus Robert De Niro was binnen een film met zo-en-zo, 129 00:06:19,533 --> 00:06:20,800 met wie in een film zat Kevin Bacon. 130 00:06:20,800 --> 00:06:24,400 Het creëerde in wezen een reeks banden 131 00:06:24,400 --> 00:06:26,200 tussen films en acteurs. 132 00:06:26,200 --> 00:06:28,900 En in feite, er is wiskunde 133 00:06:28,900 --> 00:06:30,033 achter dat principe. 134 00:06:30,033 --> 00:06:34,566 Het is eigenlijk oud wiskundig grafentheorie, toch? 135 00:06:34,566 --> 00:06:36,466 Dat gaat terug tot de wiskunde van de 20e eeuw. 136 00:06:36,466 --> 00:06:41,000 En veel wetenschappers begonnen gezien het feit dat die er waren 137 00:06:41,000 --> 00:06:42,066 wiskundige principes, 138 00:06:42,066 --> 00:06:46,666 en computerbronnen-- computers, gegevens-- 139 00:06:46,666 --> 00:06:48,933 waren op een punt dat je dat wel kon die dingen testen. 140 00:06:48,933 --> 00:06:51,066 Het was dus in een heel spannende tijd. 141 00:06:51,066 --> 00:06:54,433 We keken naar arrestatiegegevens, bij politiehaltes, 142 00:06:54,433 --> 00:06:56,533 en wij keken slachtofferregistraties. 143 00:06:56,533 --> 00:06:57,700 Wie was het slachtoffer van een moord 144 00:06:57,700 --> 00:07:00,700 of een niet-dodelijke schietpartij? 145 00:07:00,700 --> 00:07:02,033 ♪ ♪ 146 00:07:02,033 --> 00:07:08,033 Het statistische model begint met het creëren van de sociale netwerken van, 147 00:07:08,033 --> 00:07:09,433 zeg maar, iedereen die dat kan hebben gearresteerd 148 00:07:09,433 --> 00:07:10,700 in een, in een bepaalde buurt. 149 00:07:10,700 --> 00:07:14,300 Dus persoon A en persoon B waren samen betrokken bij een overval, 150 00:07:14,300 --> 00:07:16,500 ze hebben een stropdas, en dan persoon B en persoon C 151 00:07:16,500 --> 00:07:19,966 waren, werden door de politie tegengehouden in een ander geval. 152 00:07:19,966 --> 00:07:22,200 En het creëert netwerken van duizenden mensen. 153 00:07:22,200 --> 00:07:25,266 Het begrijpen van die gebeurtenissen zijn verbonden, 154 00:07:25,266 --> 00:07:26,666 plaatsen zijn met elkaar verbonden. 155 00:07:26,666 --> 00:07:28,433 Dat er oude dingen zijn, zoals geschillen tussen bemanningen, 156 00:07:28,433 --> 00:07:35,133 die daadwerkelijk gedrag sturen generaties lang. 157 00:07:35,133 --> 00:07:37,166 Wat we zagen was opvallend. 158 00:07:37,166 --> 00:07:38,933 (klikt): En je kon het zien onmiddellijk, 159 00:07:38,933 --> 00:07:40,433 en je kon het zien een mijl verderop. 160 00:07:40,433 --> 00:07:42,833 Dat waren slachtoffers van geweerschoten samengeklonterd. 161 00:07:42,833 --> 00:07:45,833 Jij, je ziet er zelden één slachtoffer. 162 00:07:45,833 --> 00:07:47,266 Je ziet twee, drie, vier. 163 00:07:47,266 --> 00:07:48,400 Soms rijgen ze over elkaar heen tijd en ruimte. 164 00:07:48,400 --> 00:07:53,933 En dan voorspelt het model: wat is de waarschijnlijkheid 165 00:07:53,933 --> 00:07:56,566 waartoe dit gaat leiden een schietpartij 166 00:07:56,566 --> 00:07:59,033 op hetzelfde traject in de toekomst? 167 00:07:59,033 --> 00:08:02,433 (geweerschoten, mensen schreeuwen) 168 00:08:02,433 --> 00:08:05,133 REPORTER: Een andere jonge man ligt dood. 169 00:08:05,133 --> 00:08:08,100 VERTELLER: In Boston vond Papachristos 170 00:08:08,100 --> 00:08:10,500 dat is 85% van alles schotverwondingen 171 00:08:10,500 --> 00:08:13,333 vond plaats binnen één sociaal netwerk. 172 00:08:13,333 --> 00:08:15,266 Individuen in dit netwerk 173 00:08:15,266 --> 00:08:17,500 waren minder dan vijf handdrukken verwijderd 174 00:08:17,500 --> 00:08:20,200 van het slachtoffer van a moord met vuurwapen 175 00:08:20,200 --> 00:08:22,733 of niet-dodelijke schietpartij. 176 00:08:22,733 --> 00:08:24,833 Hoe dichterbij iemand was 177 00:08:24,833 --> 00:08:26,066 verbonden met een schotslachtoffer, hij vond, 178 00:08:26,066 --> 00:08:32,500 hoe groter de kans dat die persoon zou worden neergeschoten. 179 00:08:32,500 --> 00:08:35,566 Rond 2011, toen Papachristos presenteerde 180 00:08:35,566 --> 00:08:38,500 zijn baanbrekende werk op sociale netwerken 181 00:08:38,500 --> 00:08:40,300 en bendegeweld, 182 00:08:40,300 --> 00:08:43,900 de politie van Chicago wilde meer weten. 183 00:08:43,900 --> 00:08:45,033 PAPACHRISTOS: We waren op een conferentie. 184 00:08:45,033 --> 00:08:46,900 De toenmalige hoofdinspecteur van de politie, 185 00:08:46,900 --> 00:08:49,200 hij vroeg me een heleboel van vragen. 186 00:08:49,200 --> 00:08:50,700 Hij had de krant duidelijk gelezen. 187 00:08:50,700 --> 00:08:53,266 VERTELLER: De politie van Chicago 188 00:08:53,266 --> 00:08:55,766 werkte op zichzelf voorspellend politieprogramma 189 00:08:55,766 --> 00:08:57,566 misdaad te bestrijden. 190 00:08:57,566 --> 00:09:00,266 Ze waren overtuigd dat model van Papachristos 191 00:09:00,266 --> 00:09:05,966 hun nieuwe politiewerk zouden kunnen doen model nog effectiever. 192 00:09:01,800 --> 00:09:05,966 hun nieuwe politiewerk zouden kunnen doen model nog effectiever. 193 00:09:05,966 --> 00:09:07,166 LOGAN KOEPKE: Predictive policing houdt in 194 00:09:07,166 --> 00:09:12,600 kijken naar historische misdaadgegevens om toekomstige gebeurtenissen te voorspellen, 195 00:09:12,600 --> 00:09:14,800 ofwel waar de politie gelooft misdaad kan plaatsvinden 196 00:09:14,800 --> 00:09:18,600 of wie er mogelijk bij betrokken zijn bij bepaalde misdaden. 197 00:09:18,600 --> 00:09:21,366 ♪ ♪ 198 00:09:21,366 --> 00:09:22,566 Het is dus het gebruik van historisch gegevens om een toekomstige gebeurtenis te voorspellen. 199 00:09:22,566 --> 00:09:27,133 VERTELLER: De kern van deze programma's is software, 200 00:09:27,133 --> 00:09:30,133 die, zoals allemaal computerprogramma's, 201 00:09:30,133 --> 00:09:33,400 is opgebouwd rond een algoritme. 202 00:09:33,400 --> 00:09:35,366 Denk dus aan een algoritme zoals een recept. 203 00:09:35,366 --> 00:09:40,000 ♪ ♪ 204 00:09:40,000 --> 00:09:41,800 Je hebt input, 205 00:09:41,800 --> 00:09:44,600 wat zijn je ingrediënten, jij hebt het algoritme, 206 00:09:44,600 --> 00:09:45,433 dat zijn de stappen. 207 00:09:45,433 --> 00:09:50,266 ♪ ♪ 208 00:09:50,266 --> 00:09:51,766 En dan is er de uitvoer, 209 00:09:51,766 --> 00:09:53,866 dat is hopelijk de heerlijke taart die je maakt. 210 00:09:57,400 --> 00:09:59,100 GROEP: Fijne verjaardag! 211 00:09:59,100 --> 00:10:02,533 Dus een manier om over na te denken algoritmen is om over na te denken 212 00:10:02,533 --> 00:10:03,800 het aanwervingsproces. 213 00:10:03,800 --> 00:10:07,166 Recruiters zijn dat inderdaad geweest honderd jaar gestudeerd. 214 00:10:07,166 --> 00:10:10,533 En het blijkt veel menselijke recruiters 215 00:10:10,533 --> 00:10:13,366 een standaardalgoritme hebben 216 00:10:13,366 --> 00:10:16,033 als ze kijken een risumi. 217 00:10:16,033 --> 00:10:19,466 Dus ze beginnen met jouw naam, en dan kijken ze om te zien 218 00:10:19,466 --> 00:10:21,266 waar je naar school ging, en dan eindelijk, 219 00:10:21,266 --> 00:10:23,900 ze kijken naar wat van jou is laatste klus was. 220 00:10:23,900 --> 00:10:26,433 Als ze het patroon niet zien ze zoeken... 221 00:10:26,433 --> 00:10:28,133 (belgeluiden) ...dat is alle tijd die je krijgt. 222 00:10:28,133 --> 00:10:32,100 En in zekere zin is dat precies zo wat kunstmatige intelligentie 223 00:10:32,100 --> 00:10:35,366 doet het ook, op een heel basaal niveau. 224 00:10:35,366 --> 00:10:37,733 Het herkent sets van patronen en het gebruik daarvan 225 00:10:37,733 --> 00:10:42,333 om te beslissen wat de volgende stap is het besluitvormingsproces zou zijn. 226 00:10:42,333 --> 00:10:47,366 ♪ ♪ 227 00:10:47,366 --> 00:10:48,566 VERTELLER: Waar wordt doorgaans naar verwezen 228 00:10:48,566 --> 00:10:51,600 als kunstmatige intelligentie, of AI, 229 00:10:51,600 --> 00:10:54,333 is een proces genaamd machinaal leren, 230 00:10:54,333 --> 00:10:56,866 waar een computeralgoritme zal zich vanzelf aanpassen, 231 00:10:56,866 --> 00:10:58,000 zonder menselijke instructies, 232 00:10:58,000 --> 00:11:03,200 als reactie op de patronen het vindt in de gegevens. 233 00:11:03,200 --> 00:11:07,000 Deze krachtige processen kan meer gegevens analyseren 234 00:11:07,000 --> 00:11:08,000 dan enig mens kan, 235 00:11:08,000 --> 00:11:13,266 en vind nooit patronen eerder herkend. 236 00:11:13,266 --> 00:11:15,066 De principes voor machinaal leren 237 00:11:15,066 --> 00:11:16,133 werden uitgevonden in de jaren vijftig, 238 00:11:16,133 --> 00:11:22,266 maar begon zich te verspreiden pas na ongeveer 2010. 239 00:11:22,266 --> 00:11:23,366 Wat wij overwegen machinaal leren vandaag 240 00:11:23,366 --> 00:11:28,066 kwam tot stand omdat harde schijven erg goedkoop geworden. 241 00:11:28,066 --> 00:11:31,233 Het was dus heel gemakkelijk te verkrijgen veel gegevens over iedereen 242 00:11:31,233 --> 00:11:32,933 in elk aspect van het leven. 243 00:11:32,933 --> 00:11:35,700 En de vraag is: wat kan wat doen we met al die gegevens? 244 00:11:35,700 --> 00:11:39,300 Die nieuwe toepassingen zijn dingen als voorspellend politiewerk, 245 00:11:39,300 --> 00:11:42,233 het zijn zaken als beslissen al dan niet van een persoon 246 00:11:42,233 --> 00:11:44,333 wel of niet gaan werken, 247 00:11:44,333 --> 00:11:45,800 of uitgenodigd worden een sollicitatiegesprek. 248 00:11:45,800 --> 00:11:51,266 VERTELLER: Dus hoe werkt zo'n krachtig hulpmiddel zoals machine learning? 249 00:11:51,266 --> 00:11:53,766 Neem het geval van a algoritme voor het aannemen van personeel. 250 00:11:53,766 --> 00:11:56,733 Ten eerste moet een computer dat doen begrijp het doel. 251 00:11:56,733 --> 00:11:59,266 Hier is het doel identificeren 252 00:11:59,266 --> 00:12:01,600 de beste kandidaat voor de baan. 253 00:12:01,600 --> 00:12:04,666 Het algoritme kijkt naar risumi's van voormalige sollicitanten 254 00:12:04,666 --> 00:12:10,566 en zoekt op trefwoorden in de risumi's van succesvolle aanwervingen. 255 00:12:10,566 --> 00:12:14,433 The risumis are what's trainingsgegevens genoemd. 256 00:12:14,433 --> 00:12:18,033 Het algoritme kent waarden toe bij elk trefwoord. 257 00:12:18,033 --> 00:12:20,466 Woorden die meer voorkomen vaak in de risumi's 258 00:12:20,466 --> 00:12:23,833 van succesvolle kandidaten krijgen meer waarde. 259 00:12:23,833 --> 00:12:27,433 Het systeem leert ervan past risumis the patterns 260 00:12:27,433 --> 00:12:31,133 van kwaliteiten die daarmee samenhangen met succesvolle aanwervingen. 261 00:12:31,133 --> 00:12:33,266 Vervolgens doet het zijn voorspellingen door deze te identificeren 262 00:12:33,266 --> 00:12:36,500 dezelfde patronen als de risumi's van potentiële kandidaten. 263 00:12:36,500 --> 00:12:39,366 ♪ ♪ 264 00:12:39,366 --> 00:12:41,300 Op een vergelijkbare manier 265 00:12:41,300 --> 00:12:43,666 de politie van Chicago wilde dat patronen ontdekken in misdaadrapporten 266 00:12:43,666 --> 00:12:47,533 en arrestatiegegevens om te voorspellen wie zou er aangesloten zijn 267 00:12:47,533 --> 00:12:48,666 tot geweld in de toekomst. 268 00:12:48,666 --> 00:12:54,800 Ze dachten dat die van Papachristos was model zou kunnen helpen. 269 00:12:54,800 --> 00:12:58,066 Uiteraard wilden we dat en geprobeerd, ingelijst en geschreven 270 00:12:58,066 --> 00:12:59,233 alle kanttekeningen en gemaakt onze aanbevelingen om te zeggen: 271 00:12:59,233 --> 00:13:03,733 ‘Dit onderzoek zou dat moeten zijn in deze volksgezondheidsruimte." 272 00:13:03,733 --> 00:13:06,300 Maar zodra de wiskunde bekend is, 273 00:13:06,300 --> 00:13:07,500 eens de statistieken zijn daarbuiten, 274 00:13:07,500 --> 00:13:10,933 mensen kunnen het ook nemen en ermee doen wat ze willen. 275 00:13:13,033 --> 00:13:16,700 VERTELLER: Terwijl Papachristos het zag het model als identificatiemiddel 276 00:13:16,700 --> 00:13:17,866 toekomstige slachtoffers van wapengeweld, 277 00:13:17,866 --> 00:13:21,966 CPD zag de kans om zich te identificeren niet alleen toekomstige slachtoffers, 278 00:13:21,966 --> 00:13:24,833 maar toekomstige criminelen. 279 00:13:26,800 --> 00:13:28,866 Eerst kostte het mij, weet je, door, bij verrassing, 280 00:13:28,866 --> 00:13:30,200 en toen maakte ik me zorgen. 281 00:13:30,200 --> 00:13:31,466 Wat gaat het doen? 282 00:13:31,466 --> 00:13:33,733 Wie gaat het kwaad doen? 283 00:13:33,733 --> 00:13:35,966 ♪ ♪ 284 00:13:35,966 --> 00:13:39,000 VERTELLER: Wat de politie wilde voorspellen was wie gevaar liep 285 00:13:39,000 --> 00:13:42,400 omdat je erbij betrokken bent toekomstig geweld. 286 00:13:42,400 --> 00:13:43,866 Geef me al je geld, man. 287 00:13:43,866 --> 00:13:47,466 VERTELLER: Trainen op honderden duizenden arrestatiegegevens, 288 00:13:47,466 --> 00:13:51,366 het computeralgoritme kijkt naar patronen of factoren 289 00:13:51,366 --> 00:13:53,833 geassocieerd met geweldsmisdrijven 290 00:13:53,833 --> 00:13:55,266 om het risico te berekenen dat een individu 291 00:13:55,266 --> 00:14:00,566 zal worden aangesloten toekomstig geweld. 292 00:14:00,566 --> 00:14:03,200 Met behulp van sociale netwerkanalyse, 293 00:14:03,200 --> 00:14:05,233 arrestatiegegevens van medewerkers 294 00:14:05,233 --> 00:14:08,366 vallen daar ook onder berekening. 295 00:14:08,366 --> 00:14:14,033 Het programma heette de Strategische Onderwerpenlijst, of SSL. 296 00:14:14,033 --> 00:14:16,400 Het zou een van de meesten zijn controversieel 297 00:14:16,400 --> 00:14:17,866 in de politiegeschiedenis van Chicago. 298 00:14:17,866 --> 00:14:20,933 ANDY CLARNO: Het idee achter de Strategische Onderwerpenlijst, 299 00:14:20,933 --> 00:14:22,866 of de SSL, 300 00:14:22,866 --> 00:14:24,433 was om te proberen zich te identificeren de mensen die dat zouden zijn 301 00:14:24,433 --> 00:14:29,666 waarschijnlijk betrokken raken zoals ze noemden 302 00:14:29,666 --> 00:14:32,666 een ‘partij bij geweld’, zoals een schutter of een slachtoffer. 303 00:14:32,666 --> 00:14:34,400 ♪ ♪ 304 00:14:34,400 --> 00:14:36,666 VERTELLER: De politie van Chicago zou gebruiken Het onderzoek van Papachristos 305 00:14:36,666 --> 00:14:40,433 om te evalueren wat er werd genoemd van een individu 306 00:14:40,433 --> 00:14:43,500 "co-arrestatienetwerk." 307 00:14:43,500 --> 00:14:45,600 En de manier waarop de Politiebureau van Chicago 308 00:14:45,600 --> 00:14:49,133 berekend een het individuele netwerk was door 309 00:14:49,133 --> 00:14:50,633 een soort van twee graden verwijdering. 310 00:14:50,633 --> 00:14:53,966 Iedereen dat ik gearresteerd was met en iedereen waarmee zij 311 00:14:53,966 --> 00:14:56,600 zou zijn gearresteerd geteld als mensen die dat wel waren 312 00:14:56,600 --> 00:14:58,266 binnen mijn netwerk. 313 00:14:58,266 --> 00:15:01,666 Dus mijn risicoscore zou zijn gebaseerd op mijn individuele geschiedenis 314 00:15:01,666 --> 00:15:03,866 van arrestatie en slachtofferschap, evenals de geschiedenissen 315 00:15:03,866 --> 00:15:06,600 van arrestatie en slachtofferschap van mensen daarbinnen 316 00:15:06,600 --> 00:15:10,066 twee graden netwerk van mij. 317 00:15:10,066 --> 00:15:11,566 Het was in de volksmond bekend als de ‘hittelijst’. 318 00:15:11,566 --> 00:15:12,700 Als je het warm had, zat je erop. 319 00:15:12,700 --> 00:15:15,566 En ze gaven je letterlijk een risicoscore. 320 00:15:15,566 --> 00:15:16,666 In één keer, het was nul tot 500-plus. 321 00:15:16,666 --> 00:15:18,866 Als je 500-plus bent, ben je dat ook een risicopersoon. 322 00:15:18,866 --> 00:15:21,700 ♪ ♪ 323 00:15:21,700 --> 00:15:22,900 En als je deze hittelijst hebt gehaald, 324 00:15:22,900 --> 00:15:26,933 Misschien vind je een detective kloppen op je voordeur. 325 00:15:26,933 --> 00:15:32,133 ♪ ♪ 326 00:15:32,133 --> 00:15:33,166 VERTELLER: Proberen te voorspellen 327 00:15:33,166 --> 00:15:38,533 toekomstige criminele activiteiten niet een nieuw idee. 328 00:15:38,533 --> 00:15:41,166 Scotland Yard in Londen began using this approach 329 00:15:41,166 --> 00:15:45,166 door misdaadgebeurtenissen in kaart te brengen in de jaren dertig. 330 00:15:48,866 --> 00:15:50,100 Maar in de jaren negentig 331 00:15:50,100 --> 00:15:55,133 het was de politie van New York City Commissaris William Bratton 332 00:15:55,133 --> 00:15:57,933 die misdaadkaarten heeft gemaakt naar een ander niveau. 333 00:15:57,933 --> 00:16:00,766 BRATTON: Ik run de stad New York Politie afdeling. 334 00:16:00,766 --> 00:16:03,166 Mijn concurrentie is de crimineel element. 335 00:16:03,166 --> 00:16:06,766 VERTELLER: Bratton overtuigde de politie agentschappen door het hele land 336 00:16:06,766 --> 00:16:09,200 dat datagedreven politiewerk was de sleutel 337 00:16:09,200 --> 00:16:10,566 tot succesvol politiestrategieën. 338 00:16:10,566 --> 00:16:12,566 Een onderdeel hiervan is het voorkomen crime in the first place. 339 00:16:12,566 --> 00:16:17,566 ♪ ♪ 340 00:16:17,566 --> 00:16:18,733 VERTELLER: Bratton raakte geïnspireerd 341 00:16:18,733 --> 00:16:22,066 door zijn eigen werk Transitpolitie van New York City. 342 00:16:22,066 --> 00:16:24,066 Zoals je ze allemaal ziet, 343 00:16:24,066 --> 00:16:25,933 uh, stippen op de kaart, 344 00:16:25,933 --> 00:16:27,300 dat zijn onze tegenstanders. 345 00:16:27,300 --> 00:16:29,166 VERTELLER: Het werd genoemd Grafieken van de toekomst, 346 00:16:29,166 --> 00:16:34,000 en gecrediteerd met snijden metromisdrijven met 27% 347 00:16:34,000 --> 00:16:34,633 en overvallen door een derde. 348 00:16:34,633 --> 00:16:39,433 Bratton zag potentieel. 349 00:16:39,433 --> 00:16:42,300 Hij heeft alles besteld Gebieden in New York City 350 00:16:42,300 --> 00:16:43,266 misdaad systematisch in kaart brengen, 351 00:16:43,266 --> 00:16:48,533 gegevens verzamelen, patronen vinden, terug melden. 352 00:16:48,533 --> 00:16:50,933 De nieuwe aanpak was genaamd CompStat. 353 00:16:50,933 --> 00:16:54,733 BRAYNE: CompStat, denk ik, in zekere zin is een soort voorloper 354 00:16:54,733 --> 00:16:55,900 van voorspellend politiewerk, 355 00:16:55,900 --> 00:17:00,600 in de zin dat velen van dezelfde principes daar-- 356 00:17:00,600 --> 00:17:03,066 je weet wel, met behulp van datatracking, tot nu toe, 357 00:17:03,066 --> 00:17:06,433 plaatsen identificeren waar interventies van wetshandhavers 358 00:17:06,433 --> 00:17:07,566 effectief zou kunnen zijn, enzovoort... 359 00:17:07,566 --> 00:17:10,266 echt de basis gelegd voor voorspellend politiewerk. 360 00:17:10,266 --> 00:17:12,700 ♪ ♪ 361 00:17:12,700 --> 00:17:14,533 VERTELLER: Begin jaren 2000 was 362 00:17:14,533 --> 00:17:16,966 als rekenkracht toegenomen, 363 00:17:16,966 --> 00:17:18,766 criminologists were overtuigde deze nieuwe dataschat 364 00:17:18,766 --> 00:17:23,700 kan in de machine worden gebruikt modellen leren maken 365 00:17:23,700 --> 00:17:24,666 die voorspellen wanneer en waar 366 00:17:24,666 --> 00:17:27,833 misdaad zou gebeuren in de toekomst. 367 00:17:27,833 --> 00:17:30,033 ♪ ♪ 368 00:17:30,033 --> 00:17:32,100 REPORTER: De politie van L.A zegt nu de schutters openden het vuur 369 00:17:32,100 --> 00:17:33,800 met een semi-automatisch wapen. 370 00:17:33,800 --> 00:17:35,400 VERTELLER: In 2008, 371 00:17:35,400 --> 00:17:38,800 nu als hoofd van de Politiebureau van Los Angeles, 372 00:17:38,800 --> 00:17:41,466 Bratton sloot zich aan bij academici bij U.C.L.A. 373 00:17:41,466 --> 00:17:44,700 helpen lanceren a voorspellend politiesysteem 374 00:17:44,700 --> 00:17:46,166 genaamd PredPol, 375 00:17:46,166 --> 00:17:49,100 aangedreven door machine learning algoritme. 376 00:17:49,100 --> 00:17:52,533 ♪ ♪ 377 00:17:52,533 --> 00:17:54,166 ISAAC: PredPol begon 378 00:17:54,166 --> 00:17:56,100 als spin-off van een reeks van, zoals, 379 00:17:56,100 --> 00:18:00,033 overheidscontracten dat waren gerelateerd aan militair werk. 380 00:18:00,033 --> 00:18:02,166 Ze waren aan het ontwikkelen 381 00:18:02,166 --> 00:18:05,566 een vorm van een algoritme dat was gebruikt om I.E.D's te voorspellen. 382 00:18:05,566 --> 00:18:07,766 (apparaat ontploft) 383 00:18:07,766 --> 00:18:08,966 En het was een techniek dat werd gebruikt 384 00:18:08,966 --> 00:18:13,233 om ook naschokken te detecteren en seismografische activiteit. 385 00:18:13,233 --> 00:18:15,866 (honden blaffen en janken, voorwerpen die kletteren) 386 00:18:15,866 --> 00:18:17,133 En nadat die contracten afliepen, 387 00:18:17,133 --> 00:18:19,300 besloot het bedrijf ze wilden dit toepassen 388 00:18:19,300 --> 00:18:20,466 in het domein van, van politie 389 00:18:20,466 --> 00:18:22,400 in eigen land in de Verenigde Staten. 390 00:18:22,400 --> 00:18:25,266 (radio piept) 391 00:18:25,266 --> 00:18:27,266 VERTELLER: Het PredPol-model 392 00:18:27,266 --> 00:18:28,666 berust op drie soorten van historische gegevens: 393 00:18:28,666 --> 00:18:35,266 soort misdaad, plaats van misdaad, en tijd van misdaad, 394 00:18:35,266 --> 00:18:37,400 twee tot vijf jaar teruggaan. 395 00:18:37,400 --> 00:18:38,966 Het algoritme zoekt patronen 396 00:18:38,966 --> 00:18:44,266 om locaties te identificeren waar misdaad is het meest waarschijnlijk. 397 00:18:44,266 --> 00:18:46,866 As new crime incidents worden gerapporteerd, 398 00:18:46,866 --> 00:18:51,733 ze worden erin gevouwen de berekening. 399 00:18:51,733 --> 00:18:52,800 De voorspellingen worden weergegeven op een kaart 400 00:18:52,800 --> 00:18:57,400 als gebieden van 500 x 500 voet dat zijn dan officieren 401 00:18:57,400 --> 00:18:59,833 opdracht gegeven tot patrouille. 402 00:18:59,833 --> 00:19:01,700 ISAAC: En vanaf daar, het algoritme zegt: 403 00:19:01,700 --> 00:19:04,800 ‘Oké, gebaseerd op wat we weten over het soort 404 00:19:04,800 --> 00:19:06,633 "zeer recente geschiedenis, 405 00:19:06,633 --> 00:19:08,766 "Waar is dat waarschijnlijk we'll see crime 406 00:19:08,766 --> 00:19:11,100 de volgende dag of het volgende uur?" 407 00:19:11,100 --> 00:19:14,233 ♪ ♪ 408 00:19:14,233 --> 00:19:15,766 BRAYNE: Een van de belangrijkste redenen 409 00:19:15,766 --> 00:19:16,800 waar de politie gebruik van gaat maken deze hulpmiddelen 410 00:19:16,800 --> 00:19:20,066 is het efficiënte en tot op zekere hoogte zelfs 411 00:19:20,066 --> 00:19:21,366 zoals in hun logica, 412 00:19:21,366 --> 00:19:24,300 eerlijker, eh, en, en justifiable allocation 413 00:19:24,300 --> 00:19:25,533 van hun politiemiddelen. 414 00:19:25,533 --> 00:19:28,133 ♪ ♪ 415 00:19:28,133 --> 00:19:29,800 VERTELLER: Tegen 2013, 416 00:19:29,800 --> 00:19:33,400 naast PredPol, voorspellende politiesystemen 417 00:19:33,400 --> 00:19:37,100 ontwikkeld door bedrijven als HunchLab, IBM en Palantir 418 00:19:37,100 --> 00:19:39,500 waren in het hele land in gebruik. 419 00:19:39,500 --> 00:19:42,000 (radio's draaien op de achtergrond) 420 00:19:42,000 --> 00:19:44,900 En computeralgoritmen 421 00:19:44,900 --> 00:19:46,166 werden ook overgenomen in rechtszalen. 422 00:19:46,166 --> 00:19:52,866 Deurwaarder: 21CF3810, staat Wisconsin versus Chantille... 423 00:19:52,866 --> 00:19:55,833 KATHERINE BOS: These tools are used in voorlopige beslissingen, 424 00:19:55,833 --> 00:19:58,966 ze worden gebruikt bij de veroordeling bepalingen, 425 00:19:58,966 --> 00:20:00,300 en ze worden erin gebruikt huisvestingsbepalingen. 426 00:20:00,300 --> 00:20:05,733 Ze worden ook gebruikt, belangrijker nog, in de fase van de schikking. 427 00:20:05,733 --> 00:20:08,133 Ze worden echt overal gebruikt het hele proces 428 00:20:08,133 --> 00:20:13,000 om te proberen te doen wat oordeelt hebben gedaan, 429 00:20:13,000 --> 00:20:15,200 dat is het heel, heel moeilijke taak 430 00:20:15,200 --> 00:20:16,400 van proberen te begrijpen en voorspellen 431 00:20:16,400 --> 00:20:21,666 wat zal een mens zijn doe het morgen, of overmorgen, 432 00:20:21,666 --> 00:20:23,366 of volgende maand, of drie jaar vanaf nu. 433 00:20:23,366 --> 00:20:25,333 ASSISTENT-DISTRICT-ADVOCAAT: Borgtocht verbeurd. 434 00:20:25,333 --> 00:20:27,666 Hij kwam niet opdagen 13/12/21. 435 00:20:27,666 --> 00:20:29,533 Het is niet eens gelukt naar een voorlopige hoorzitting. 436 00:20:29,533 --> 00:20:33,200 De softwaretools zijn een proberen te voorspellen 437 00:20:33,200 --> 00:20:34,366 het beter dan mensen dat kunnen. 438 00:20:34,366 --> 00:20:36,366 MICHELLE HAVAS: Bij tel één worden er kosten in rekening gebracht met 439 00:20:36,366 --> 00:20:38,266 intimidatie van misdrijf van een slachtoffer. 440 00:20:38,266 --> 00:20:40,866 SWEENEY: Dus in de Verenigde Staten is je bent onschuldig 441 00:20:40,866 --> 00:20:44,300 totdat het bewezen is dat je schuldig bent, maar je bent gearresteerd. 442 00:20:44,300 --> 00:20:45,800 Now that you've been arrested, 443 00:20:45,800 --> 00:20:48,166 een rechter moet beslissen al dan niet 444 00:20:48,166 --> 00:20:49,533 je komt vrij op borgtocht, 445 00:20:49,533 --> 00:20:51,700 of hoe hoog of laag die borgtocht is zou moeten zijn. 446 00:20:51,700 --> 00:20:55,200 Er wordt u aangeklaagd voor rijden op een geschorste vergunning. 447 00:20:55,200 --> 00:20:56,400 Ik heb die borg vastgesteld op $1.000. 448 00:20:56,400 --> 00:20:58,833 Geen verzekering, ik heb die borg gesteld voor $ 1.000. 449 00:20:58,833 --> 00:21:01,633 ALISON schaamt zich: Een van de problemen is, 450 00:21:01,633 --> 00:21:04,400 rechters baseren zich daar vaak op geld obligatie 451 00:21:04,400 --> 00:21:05,600 of financiële omstandigheden van vrijlating. 452 00:21:05,600 --> 00:21:08,200 RECHTER: Dus dat ga ik doen zijn boete verlagen 453 00:21:08,200 --> 00:21:10,000 om het een beetje te maken redelijker. 454 00:21:10,000 --> 00:21:13,166 Dus in plaats van $250.000 contant, 455 00:21:13,166 --> 00:21:15,300 De borg bedraagt $100.000. 456 00:21:15,300 --> 00:21:17,866 SCHADE: Het staat mensen toe die dat wel hebben toegang tot vrij te maken geld. 457 00:21:17,866 --> 00:21:20,566 Als je arm bent, ben je dat vaak in voorlopige hechtenis worden genomen. 458 00:21:20,566 --> 00:21:27,066 Ongeveer 70% van de mensen in de gevangenis zitten, zijn daar in vooronderzoek. 459 00:21:27,066 --> 00:21:29,500 Dit zijn mensen die dat wel zijn presumed innocent, 460 00:21:29,500 --> 00:21:32,533 maar worden vastgehouden tijdens de voorfase van hun zaak. 461 00:21:32,533 --> 00:21:38,200 VERTELLER: Veel rechtsgebieden gebruiken algoritmen voor voorlopige beoordeling 462 00:21:38,200 --> 00:21:42,100 met als doel te verminderen gevangenispopulaties en afnemen 463 00:21:42,100 --> 00:21:43,566 de impact van rechterlijke vooringenomenheid. 464 00:21:43,566 --> 00:21:49,233 SCHADE: Het gebruik van een dergelijk hulpmiddel neemt historische gegevens 465 00:21:49,233 --> 00:21:51,366 en beoordeelt, op basis van onderzoek, 466 00:21:51,366 --> 00:21:56,866 associeert factoren die dat wel zijn voorspellen van de twee uitkomsten 467 00:21:56,866 --> 00:21:59,133 dat is de rechter bezorgd over. 468 00:21:59,133 --> 00:22:02,066 Dat is gemeenschapsveiligheid en of die persoon 469 00:22:02,066 --> 00:22:05,866 zal opnieuw voor de rechter verschijnen tijdens de periode van vooronderzoek. 470 00:22:05,866 --> 00:22:08,300 ♪ ♪ 471 00:22:08,300 --> 00:22:11,900 VERTELLER: Veel van deze algoritmen zijn gebaseerd op een concept genaamd 472 00:22:11,900 --> 00:22:12,833 een regressiemodel. 473 00:22:12,833 --> 00:22:17,033 De vroegste, zogenaamde lineaire regressie, 474 00:22:17,033 --> 00:22:24,333 dateert uit de 19e eeuw wiskunde. 475 00:22:24,333 --> 00:22:27,066 O'NEIL: Aan het eind van de dag, machine learning-algoritmen 476 00:22:27,066 --> 00:22:29,900 precies doen wat lineaire regressie wel, 477 00:22:29,900 --> 00:22:31,966 dat is voorspellen-- 478 00:22:31,966 --> 00:22:34,600 op basis van de initiële voorwaarden, de situatie die ze zien... 479 00:22:34,600 --> 00:22:36,333 voorspellen wat er zal gebeuren in de toekomst, 480 00:22:36,333 --> 00:22:38,033 of dat nou in is de volgende minuut 481 00:22:38,033 --> 00:22:40,433 of de komende vier jaar. 482 00:22:41,800 --> 00:22:44,566 VERTELLER: In de hele Verenigde Staten zijn meer dan 60 rechtsgebieden 483 00:22:44,566 --> 00:22:49,366 gebruik voorspellende algoritmen als onderdeel van het juridische proces. 484 00:22:49,366 --> 00:22:53,100 Een van de meest gebruikte is COMPAS. 485 00:22:53,100 --> 00:22:55,166 Het COMPAS-algoritme weegt factoren af, 486 00:22:55,166 --> 00:22:57,266 inclusief de antwoorden van een verdachte naar een vragenlijst, 487 00:22:57,266 --> 00:23:02,566 te voorzien in een risicobeoordelingsscore. 488 00:23:02,566 --> 00:23:07,266 Deze scores worden dagelijks gebruikt door rechters om beslissingen te begeleiden 489 00:23:07,266 --> 00:23:12,566 over voorlopige hechtenis, borgtocht, en zelfs veroordeling. 490 00:23:12,566 --> 00:23:15,700 Maar de betrouwbaarheid van het COMPAS-algoritme 491 00:23:15,700 --> 00:23:17,266 is ondervraagd. 492 00:23:17,266 --> 00:23:24,066 In 2016 publiceerde ProPublica een onderzoeksrapport 493 00:23:24,066 --> 00:23:25,666 op het COMPAS instrument voor risicobeoordeling. 494 00:23:25,666 --> 00:23:31,300 Benjamin: Onderzoekers wilden het zien if the scores were accurate 495 00:23:31,300 --> 00:23:33,233 bij het voorspellen of deze individuen 496 00:23:33,233 --> 00:23:35,866 een toekomstige misdaad zou begaan. 497 00:23:35,866 --> 00:23:38,166 En ze vonden twee dingen die waren interessant. 498 00:23:38,166 --> 00:23:42,933 Een daarvan was dat de score was opmerkelijk onbetrouwbaar 499 00:23:42,933 --> 00:23:46,833 bij het voorspellen wie zich zou binden a, een misdaad in de toekomst 500 00:23:46,833 --> 00:23:48,133 gedurende deze periode van twee jaar. 501 00:23:48,133 --> 00:23:52,333 Maar dan nog het andere ProPublica-onderzoekers gevonden 502 00:23:52,333 --> 00:23:57,700 was dat zwarte mensen dat waren veel waarschijnlijker geacht te worden 503 00:23:57,700 --> 00:24:01,600 hoog risico en blanke mensen laag risico. 504 00:24:01,600 --> 00:24:04,833 VERTELLER: Dit gold zelfs in gevallen wanneer de zwarte persoon 505 00:24:04,833 --> 00:24:06,866 werd gearresteerd voor een klein vergrijp en de blanke 506 00:24:06,866 --> 00:24:12,233 in kwestie werd gearresteerd een ernstiger misdrijf. 507 00:24:12,233 --> 00:24:17,900 Benjamin: Deze ProPublica-studie was een van de eersten die begon 508 00:24:17,900 --> 00:24:22,100 om de zeepbel te laten barsten van technologie 509 00:24:22,100 --> 00:24:24,733 op de een of andere manier objectief en neutraal. 510 00:24:24,733 --> 00:24:31,566 VERTELLER: Het artikel is gemaakt een nationale controverse. 511 00:24:31,566 --> 00:24:35,166 Maar in Dartmouth, een student overtuigde haar professor 512 00:24:35,166 --> 00:24:36,533 ze zouden het allebei moeten zijn meer dan verbijsterd. 513 00:24:36,533 --> 00:24:40,566 HANY FARID: Het blijkt dat een van mijn studenten, Julia Dressel, 514 00:24:40,566 --> 00:24:42,400 leest hetzelfde artikel en zegt: 515 00:24:42,400 --> 00:24:44,200 "Dit is verschrikkelijk. 516 00:24:44,200 --> 00:24:45,533 We moeten iets doen erover." (grinnikt) 517 00:24:45,533 --> 00:24:48,266 Dit is het verschil tussen een geweldige idealistische student 518 00:24:48,266 --> 00:24:50,333 en een afgematte professor. 519 00:24:50,333 --> 00:24:52,400 En ik dacht: "Ik denk dat je gelijk hebt." 520 00:24:52,400 --> 00:24:54,733 En zoals we waren, een soort van moeite om het te begrijpen 521 00:24:54,733 --> 00:24:58,766 de onderliggende wortels van de bias in de algoritmen, 522 00:24:58,766 --> 00:25:00,933 vroegen we ons af een hele simpele vraag: 523 00:25:00,933 --> 00:25:05,100 zijn de algoritmen van vandaag, zijn doen ze het beter dan mensen? 524 00:25:05,100 --> 00:25:07,900 Want waarschijnlijk is dat de reden je hebt deze algoritmen, 525 00:25:07,900 --> 00:25:11,566 is dat ze een deel ervan elimineren de vooroordelen en de vooroordelen, 526 00:25:11,566 --> 00:25:14,066 impliciet of expliciet, in het menselijk oordeel. 527 00:25:14,066 --> 00:25:17,866 VERTELLER: Om COMPAS's te analyseren nauwkeurigheid van risicobeoordeling, 528 00:25:17,866 --> 00:25:20,866 ze maakten gebruik van crowdsourcing platform Mechanisch Turk. 529 00:25:20,866 --> 00:25:25,566 Hun online onderzoek inbegrepen 400 deelnemers 530 00:25:25,566 --> 00:25:29,166 die 1.000 beklaagden evalueerde. 531 00:25:29,166 --> 00:25:30,766 FARID: Wij hebben dit aan de deelnemers gevraagd 532 00:25:30,766 --> 00:25:34,433 lees een heel korte paragraaf over een echte verdachte. 533 00:25:34,433 --> 00:25:35,866 Hoe oud ze waren, 534 00:25:35,866 --> 00:25:37,866 of ze dat waren mannelijk of vrouwelijk, 535 00:25:37,866 --> 00:25:40,400 wat hun voorafgaande jeugdveroordelingsrecord was, 536 00:25:40,400 --> 00:25:42,433 en hun voorafgaande veroordelingsrecord voor volwassenen. 537 00:25:42,433 --> 00:25:45,066 En belangrijker nog, dat hebben we niet gedaan vertel mensen hun ras. 538 00:25:45,066 --> 00:25:46,366 En dan vragen we een heel simpel antwoord vraag, 539 00:25:46,366 --> 00:25:48,066 "Denk je dat deze persoon een misdaad zal begaan 540 00:25:48,066 --> 00:25:49,966 in de komende twee jaar?" 541 00:25:49,966 --> 00:25:50,933 Ja, nee. 542 00:25:50,933 --> 00:25:53,933 En nogmaals, dit zijn niet-experts. 543 00:25:53,933 --> 00:25:55,600 Dit zijn mensen die betaald worden 544 00:25:55,600 --> 00:25:58,433 een paar dollar online om een enquête te beantwoorden. 545 00:25:58,433 --> 00:26:00,633 Geen strafrechtelijke ervaring, 546 00:26:00,633 --> 00:26:02,500 weet er niets van de beklaagden. 547 00:26:02,500 --> 00:26:05,566 Ze waren net zo nauwkeurig als commerciële software 548 00:26:05,566 --> 00:26:07,366 die vandaag de dag in de rechtbanken worden gebruikt, 549 00:26:07,366 --> 00:26:09,233 één bepaald stuk van software. 550 00:26:09,233 --> 00:26:11,500 Dat was echt verrassend. 551 00:26:11,500 --> 00:26:13,766 Wij hadden het verwacht een klein beetje verbetering. 552 00:26:13,766 --> 00:26:14,966 Het algoritme heeft dat immers wel gedaan toegang 553 00:26:14,966 --> 00:26:17,833 tot enorme bedragen van trainingsgegevens. 554 00:26:19,333 --> 00:26:22,200 VERTELLER: En nog iets verbaasden de onderzoekers. 555 00:26:22,200 --> 00:26:24,500 De antwoorden van de MTurk-arbeiders op vragen 556 00:26:24,500 --> 00:26:27,833 over wie misdaden zou begaan de toekomst en wie niet 557 00:26:27,833 --> 00:26:30,733 liet een verrassend patroon zien raciale vooroordelen, 558 00:26:30,733 --> 00:26:33,866 ook al was ras dat niet aangegeven 559 00:26:33,866 --> 00:26:35,933 in een van de profielen. 560 00:26:35,933 --> 00:26:38,600 Ze zeiden eerder a persoon van kleur 561 00:26:38,600 --> 00:26:41,333 zullen een groot risico lopen als ze dat doen waren niet, 562 00:26:41,333 --> 00:26:44,066 en dat zeiden ze waarschijnlijk ook dat een blanke 563 00:26:44,066 --> 00:26:46,833 zou geen hoog risico opleveren als je binnen bent feit dat ze dat waren. 564 00:26:46,833 --> 00:26:49,700 En dit sloeg voor ons nergens op allemaal. 565 00:26:49,700 --> 00:26:50,933 Je kent het ras van de persoon. 566 00:26:50,933 --> 00:26:53,066 Hoe is het mogelijk dat jij dat bent partijdig tegenover hen? 567 00:26:53,066 --> 00:26:54,833 (radio's draaien op de achtergrond) 568 00:26:54,833 --> 00:26:56,866 In dit land, als je een persoon van kleur bent, 569 00:26:56,866 --> 00:26:59,733 jij bent aanzienlijk meer historisch gezien waarschijnlijk 570 00:26:59,733 --> 00:27:00,866 gearresteerd worden, 571 00:27:00,866 --> 00:27:03,566 in rekening worden gebracht, en veroordeeld te worden voor een misdrijf. 572 00:27:03,566 --> 00:27:06,300 Dus eigenlijk eerdere veroordelingen 573 00:27:06,300 --> 00:27:09,466 is een proxy voor jouw ras. 574 00:27:09,466 --> 00:27:11,500 Geen perfecte proxy, maar het hangt met elkaar samen, 575 00:27:11,500 --> 00:27:13,633 vanwege het historische ongelijkheden 576 00:27:13,633 --> 00:27:14,800 in het strafrechtsysteem 577 00:27:14,800 --> 00:27:17,766 en politie in dit land. 578 00:27:17,766 --> 00:27:19,166 (sirene schettert) 579 00:27:19,166 --> 00:27:22,100 MENS: Het is mijn auto, bro, kom op, wat zijn jullie allemaal aan het doen? 580 00:27:22,100 --> 00:27:23,700 Dit is bijvoorbeeld racistisch profilering. 581 00:27:23,700 --> 00:27:25,733 VERTELLER: Research indicates a Zwarte persoon 582 00:27:25,733 --> 00:27:29,266 De kans is vijf keer zo groot zonder reden gestopt 583 00:27:29,266 --> 00:27:30,766 dan een blanke. 584 00:27:30,766 --> 00:27:33,133 Zwarte mensen zijn dat minstens twee keer as likely 585 00:27:33,133 --> 00:27:35,833 zoals blanke mensen moeten zijn gearresteerd wegens drugsdelicten, 586 00:27:35,833 --> 00:27:37,933 ook al is Zwart en witte mensen 587 00:27:37,933 --> 00:27:39,866 gebruik medicijnen in hetzelfde tempo. 588 00:27:39,866 --> 00:27:43,666 Zwarte mensen zijn ook ongeveer twaalf keer 589 00:27:43,666 --> 00:27:45,966 waarschijnlijker dat het fout gaat veroordeeld voor drugsdelicten. 590 00:27:45,966 --> 00:27:51,700 BOS: Historisch gezien hebben zwarte mannen dat wel gedaan op hogere niveaus gearresteerd 591 00:27:51,700 --> 00:27:53,000 dan andere populaties. 592 00:27:53,000 --> 00:27:58,333 Daarom voorspelt de tool dat een zwarte man bijvoorbeeld 593 00:27:58,333 --> 00:28:00,666 zal worden gearresteerd in een tempo en recidiveren in een tempo 594 00:28:00,666 --> 00:28:04,266 dat is hoger dan een witte individueel. 595 00:28:06,400 --> 00:28:09,133 FARID: En wat er dus gebeurde is: je weet wel, de grote data, 596 00:28:09,133 --> 00:28:10,333 de grote machine lerende mensen zeggen: 597 00:28:10,333 --> 00:28:13,233 ‘Kijk, we geven het niet ras, het kan niet racistisch zijn." 598 00:28:13,233 --> 00:28:15,633 Maar dat is spectaculair naïef, 599 00:28:15,633 --> 00:28:18,433 omdat we die ander kennen dingen hangen samen met ras. 600 00:28:18,433 --> 00:28:19,600 In dit geval nummer van eerdere veroordelingen. 601 00:28:19,600 --> 00:28:23,366 En dus als je een algoritme op historische gegevens, 602 00:28:23,366 --> 00:28:24,533 nou, raad eens. 603 00:28:24,533 --> 00:28:26,900 Het gaat zich voortplanten geschiedenis - natuurlijk zal dat zo zijn. 604 00:28:28,500 --> 00:28:31,233 VERTELLER: Het probleem wordt nog groter gemaakt feit dat 605 00:28:31,233 --> 00:28:32,766 voorspellende algoritmen kunnen dat niet zijn op de getuigenbank zetten 606 00:28:32,766 --> 00:28:38,233 en ondervraagd over hun besluitvormingsprocessen. 607 00:28:38,233 --> 00:28:39,733 BOS: Veel verdachten hebben dat gehad moeilijkheid 608 00:28:39,733 --> 00:28:45,200 toegang krijgen tot de onderliggende informatie 609 00:28:45,200 --> 00:28:47,300 dat vertelt hen, 610 00:28:47,300 --> 00:28:50,633 wat was de dataset dat was gebruikt om mij te beoordelen? 611 00:28:50,633 --> 00:28:53,300 Wat waren de inputs die werden gebruikt? 612 00:28:53,300 --> 00:28:55,200 Hoe werden die inputs gewogen? 613 00:28:55,200 --> 00:28:57,633 Dus je hebt wat kan zijn, these days, 614 00:28:57,633 --> 00:28:58,866 steeds meer een zwarte doos. 615 00:28:58,866 --> 00:29:02,433 Een gebrek aan transparantie. 616 00:29:04,266 --> 00:29:05,666 VERTELLER: Sommige black box-algoritmen krijgen hun naam 617 00:29:05,666 --> 00:29:08,500 uit een gebrek aan transparantie over de code 618 00:29:08,500 --> 00:29:10,500 en gegevensinvoer die zij gebruiken, 619 00:29:10,500 --> 00:29:13,566 die als eigendom kan worden beschouwd. 620 00:29:13,566 --> 00:29:17,700 Maar dat is niet het enige soort zwarte doos. 621 00:29:17,700 --> 00:29:21,066 Een black box is elk systeem wat zo ingewikkeld is 622 00:29:21,066 --> 00:29:24,166 zodat je kunt zien wat er in gaat en je kunt zien wat eruit komt, 623 00:29:24,166 --> 00:29:26,966 maar dat is onmogelijk begrijp het 624 00:29:26,966 --> 00:29:29,266 wat er binnenin gebeurt. 625 00:29:29,266 --> 00:29:32,233 Al die stappen in de algoritme 626 00:29:32,233 --> 00:29:37,233 zijn op fenomenale wijze verborgen complexe wiskunde 627 00:29:37,233 --> 00:29:39,600 en processen. 628 00:29:39,600 --> 00:29:43,066 FARID: En dat zou ik betogen als je maken gebruik van algoritmen 629 00:29:43,066 --> 00:29:45,900 op het gebied van missiekritiek toepassingen, 630 00:29:45,900 --> 00:29:47,066 zoals het strafrechtsysteem, 631 00:29:47,066 --> 00:29:49,433 we zouden niet moeten inzetten blackbox-algoritmen. 632 00:29:55,400 --> 00:29:58,366 VERTELLER: PredPol, zoals velen voorspellende platforms, 633 00:29:58,366 --> 00:30:00,733 claimde een bewezen record voor vermindering van de criminaliteit. 634 00:30:00,733 --> 00:30:05,533 In 2015 publiceerde PredPol zijn rapport algoritme 635 00:30:01,800 --> 00:30:05,533 In 2015 publiceerde PredPol zijn rapport algoritme 636 00:30:05,533 --> 00:30:08,500 in een peer-reviewed tijdschrift. 637 00:30:08,500 --> 00:30:11,133 William Isaac en Kristian Lum, 638 00:30:11,133 --> 00:30:13,000 onderzoekswetenschappers die onderzoeken 639 00:30:13,000 --> 00:30:14,900 voorspellende politieplatforms, 640 00:30:14,900 --> 00:30:17,366 analyseerde het algoritme. 641 00:30:17,366 --> 00:30:19,633 ISAAC: We zagen gewoon de algoritme 642 00:30:19,633 --> 00:30:21,266 als teruggaan naar de dezelfde één of twee blokken 643 00:30:21,266 --> 00:30:24,433 elke keer. 644 00:30:26,200 --> 00:30:27,766 En dat is nogal vreemd, 645 00:30:27,766 --> 00:30:30,833 want als je echt een voorspellend politiesysteem, 646 00:30:30,833 --> 00:30:33,366 je zou het niet noodzakelijkerwijs zien naar dezelfde locaties gaan 647 00:30:33,366 --> 00:30:35,500 keer op keer. 648 00:30:38,333 --> 00:30:40,266 VERTELLER: Voor hun experiment 649 00:30:40,266 --> 00:30:41,633 Isaac en Lum gebruikten een andere gegevensset, 650 00:30:41,633 --> 00:30:47,466 volksgezondheidsgegevens in kaart te brengen illegaal drugsgebruik in Oakland. 651 00:30:47,466 --> 00:30:50,933 ISAAC: Een flink stuk dus van de stad was een soort van 652 00:30:50,933 --> 00:30:53,666 gelijkmatig verdeeld in termen van waar 653 00:30:53,666 --> 00:30:55,400 potentieel illegaal drugsgebruik zou kunnen bestaan zijn. 654 00:30:55,400 --> 00:30:59,333 Maar de voorspellingen van de politie waren dat wel clusteren rond gebieden 655 00:30:59,333 --> 00:31:02,133 waar de politie, weet je, 656 00:31:02,133 --> 00:31:04,233 historisch gevonden incidenten van illegaal drugsgebruik. 657 00:31:04,233 --> 00:31:08,066 Concreet zagen we significant aantallen buurten 658 00:31:08,066 --> 00:31:10,166 dat waren overwegend niet-blanke mensen en lagere inkomens 659 00:31:10,166 --> 00:31:16,133 doelbewuste doelwitten zijn van de voorspellingen. 660 00:31:16,133 --> 00:31:19,466 VERTELLER: Ook al was het illegaal drugsgebruik dat wel een stadsbreed probleem, 661 00:31:19,466 --> 00:31:21,133 het algoritme richtte zijn voorspellingen 662 00:31:21,133 --> 00:31:25,300 op wijken met lage inkomens en gekleurde gemeenschappen. 663 00:31:26,466 --> 00:31:29,733 ISAAC: De reden waarom is eigenlijk heel belangrijk. 664 00:31:29,733 --> 00:31:31,000 Het is heel moeilijk om te scheiden 665 00:31:31,000 --> 00:31:33,066 deze voorspellingen van die geschiedenissen 666 00:31:33,066 --> 00:31:35,933 en de erfenis van overmatig politiewerk. 667 00:31:37,133 --> 00:31:41,333 Als gevolg daarvan zijn zij manifesteren zich in de data. 668 00:31:41,333 --> 00:31:43,566 VERTELLER: In een gebied waar er is meer politie-aanwezigheid, 669 00:31:43,566 --> 00:31:46,166 er wordt steeds meer misdaad ontdekt. 670 00:31:47,466 --> 00:31:49,766 De misdaadgegevens wijzen erop dat de algoritme 671 00:31:49,766 --> 00:31:52,433 dat het zwaar bewaakte buurt 672 00:31:52,433 --> 00:31:55,200 is waar toekomstige misdaad zal plaatsvinden gevonden, 673 00:31:55,200 --> 00:31:56,466 ook al zijn er misschien andere buurten 674 00:31:56,466 --> 00:32:02,100 waar misdaden worden gepleegd tegen hetzelfde of een hoger tarief. 675 00:32:03,300 --> 00:32:05,733 ISAAC: Elke nieuwe voorspelling dat jij genereert 676 00:32:05,733 --> 00:32:08,100 gaat zijn steeds afhankelijker 677 00:32:08,100 --> 00:32:11,466 over het gedrag van het algoritme in het verleden. 678 00:32:11,466 --> 00:32:13,366 Dus weet je, als je tien dagen, twintig dagen gaat, 679 00:32:13,366 --> 00:32:15,833 30 dagen in de toekomst, toch? na gebruik van een algoritme, 680 00:32:15,833 --> 00:32:19,366 al deze voorspellingen hebben dat gedaan veranderde het gedrag 681 00:32:19,366 --> 00:32:20,700 van het politiebureau 682 00:32:20,700 --> 00:32:23,733 en worden nu teruggevouwen in de voorspelling voor de volgende dag. 683 00:32:26,166 --> 00:32:27,566 VERTELLER: Het resultaat kan een zijn feedbacklus 684 00:32:27,566 --> 00:32:32,000 dat versterkt historische politiepraktijken. 685 00:32:34,433 --> 00:32:35,866 SWEENEY: Al deze verschillende soorten 686 00:32:35,866 --> 00:32:38,200 van machine learning-algoritmen proberen ons allemaal te helpen 687 00:32:38,200 --> 00:32:41,066 Zoek eens uit, zijn er enkele? patronen in deze gegevens? 688 00:32:41,066 --> 00:32:43,733 Het is aan ons om het dan uit te zoeken uit, 689 00:32:43,733 --> 00:32:46,233 zijn dit legitieme patronen, doen ze, 690 00:32:46,233 --> 00:32:47,400 zijn het bruikbare patronen? 691 00:32:47,400 --> 00:32:49,100 Omdat de computer geen idee. 692 00:32:49,100 --> 00:32:51,366 Het was niet logisch vereniging. 693 00:32:51,366 --> 00:32:54,800 Het is net gelukt, het heeft een correlatie. 694 00:32:56,066 --> 00:32:59,333 MING: Mijn favoriete definitie van kunstmatige intelligentie 695 00:32:59,333 --> 00:33:02,800 dat wil zeggen: het is een autonoom systeem 696 00:33:02,800 --> 00:33:04,366 die beslissingen kan nemen onder onzekerheid. 697 00:33:04,366 --> 00:33:09,900 Je kunt geen beslissingen nemen onder onzekerheid zonder vooroordelen. 698 00:33:11,300 --> 00:33:14,766 In feite is het onmogelijk om te ontsnappen aan vooringenomenheid. 699 00:33:14,766 --> 00:33:16,466 Het is een wiskundige realiteit 700 00:33:16,466 --> 00:33:21,333 over elk intelligent systeem, zelfs wij. 701 00:33:21,333 --> 00:33:23,033 (sirene schettert in de verte) 702 00:33:23,033 --> 00:33:26,166 VERTELLER: En zelfs als het doel is het wegwerken van vooroordelen, 703 00:33:26,166 --> 00:33:31,700 vertekeningen in de historische gegevens kunnen voorkomen dit doel ondermijnen. 704 00:33:33,733 --> 00:33:35,500 Amazon heeft dit ontdekt 705 00:33:35,500 --> 00:33:38,066 toen ze een zoektocht naar top begonnen talent 706 00:33:38,066 --> 00:33:40,733 met een wervingsalgoritme waarvan de trainingsgegevens 707 00:33:40,733 --> 00:33:45,066 afhankelijk van de successen bij het aannemen van personeel uit het verleden. 708 00:33:45,066 --> 00:33:49,333 MING: Amazon, enigszins beroemd binnen de A.I. industrie, 709 00:33:49,333 --> 00:33:54,200 ze probeerden een aanwerving op te bouwen algoritme. 710 00:33:54,200 --> 00:33:56,866 Ze hadden een enorme dataset. 711 00:33:56,866 --> 00:33:58,566 Ze hadden alle juiste antwoorden, 712 00:33:58,566 --> 00:34:00,966 omdat ze letterlijk wisten wie aangenomen 713 00:34:00,966 --> 00:34:04,033 en wie heeft dat gekregen promotie in hun eerste jaar. 714 00:34:04,033 --> 00:34:05,766 (typen) 715 00:34:05,766 --> 00:34:07,866 VERTELLER: Het bedrijf gecreëerd multiple models 716 00:34:07,866 --> 00:34:10,133 verleden te herzien risumi's van de kandidaten 717 00:34:10,133 --> 00:34:15,833 en identificeer er ongeveer 50.000 sleutelbegrippen. 718 00:34:15,833 --> 00:34:18,466 MING: Wat Amazon eigenlijk wilde bereiken 719 00:34:18,466 --> 00:34:21,100 was om hun aanwerving te diversifiëren. 720 00:34:21,100 --> 00:34:24,766 Amazon, net als ieder ander technologiebedrijf, 721 00:34:24,766 --> 00:34:25,833 en veel andere bedrijven, zoals nou, 722 00:34:25,833 --> 00:34:29,966 heeft een enorme vooringenomenheid opgebouwd in zijn wervingsgeschiedenis. 723 00:34:29,966 --> 00:34:35,533 Het was altijd bevooroordeeld, sterk bevooroordeeld, in het voordeel van mannen, 724 00:34:35,533 --> 00:34:37,833 in het algemeen voorstander 725 00:34:37,833 --> 00:34:40,766 van blanke of soms Aziatische mannen. 726 00:34:40,766 --> 00:34:44,033 Nou, ze gingen bouwen een wervingsalgoritme. 727 00:34:44,033 --> 00:34:45,366 En ja hoor, dit ding was dat ook 728 00:34:45,366 --> 00:34:50,000 de meest seksistische recruiter jij kon het zich voorstellen. 729 00:34:50,000 --> 00:34:52,633 Als je het woord 'vrouwen' zei in je risumi, 730 00:34:52,633 --> 00:34:53,966 dan zou het je niet aannemen. 731 00:34:53,966 --> 00:34:54,966 Als je naar een vrouwenclub ging universiteit, 732 00:34:54,966 --> 00:34:57,833 het wilde je niet aannemen. 733 00:34:57,833 --> 00:35:00,400 Dus halen ze al het geslacht eruit markeringen, 734 00:35:00,400 --> 00:35:02,266 en alle vrouwen hogescholen-- 735 00:35:02,266 --> 00:35:04,300 alle dingen die expliciet zijn zegt, 736 00:35:04,300 --> 00:35:05,600 "Dit is een man", en "Dit is een vrouw," 737 00:35:05,600 --> 00:35:08,666 of zelfs degenen die, zeg het uiteraard impliciet. 738 00:35:08,666 --> 00:35:11,100 Dus dat deden ze. 739 00:35:11,100 --> 00:35:13,666 En toen trainden ze hun nieuw diep neuraal netwerk 740 00:35:13,666 --> 00:35:16,166 om te beslissen wie Amazon zou aannemen. 741 00:35:16,166 --> 00:35:18,400 En het deed iets geweldigs. 742 00:35:18,400 --> 00:35:19,633 Het deed iets nee mens zou kunnen doen. 743 00:35:19,633 --> 00:35:22,933 Er werd uitgezocht wie een vrouw was and it wouldn't hire them. 744 00:35:24,566 --> 00:35:26,266 Er kon doorheen gekeken worden 745 00:35:26,266 --> 00:35:29,566 alle correlaties die er zijn bestond 746 00:35:29,566 --> 00:35:30,766 in die enorme dataset 747 00:35:30,766 --> 00:35:35,633 en zoek uit welke het meest zijn sterk gecorreleerd 748 00:35:35,633 --> 00:35:37,433 waarbij iemand een promotie. 749 00:35:37,433 --> 00:35:40,866 En de grootste correleren 750 00:35:40,866 --> 00:35:42,666 van het krijgen van een promotie was een man. 751 00:35:42,666 --> 00:35:46,733 En het ontdekte die patronen uit en nam geen vrouwen aan. 752 00:35:47,966 --> 00:35:54,033 VERTELLER: Amazon heeft het verlaten wervingsalgoritme in 2017. 753 00:35:54,033 --> 00:35:55,933 Denk aan de manier waarop de machine werkt Leren werkt, toch? 754 00:35:55,933 --> 00:35:57,900 Het is als een student die dat niet doet echt begrijpen 755 00:35:57,900 --> 00:35:59,166 de stof in de klas. 756 00:35:59,166 --> 00:36:03,100 Ze hebben een heleboel vragen, ze hebben een heleboel antwoorden gekregen. 757 00:36:00,433 --> 00:36:03,100 They got a bunch of questions, ze hebben een heleboel antwoorden gekregen. 758 00:36:03,100 --> 00:36:04,600 En nu proberen ze dat patroon overeenkomen 759 00:36:04,600 --> 00:36:06,166 voor een nieuwe vraag en zeg: "O, wacht. 760 00:36:06,166 --> 00:36:08,066 ‘Laat mij daar een antwoord op vinden ziet er behoorlijk uit 761 00:36:08,066 --> 00:36:09,833 zoals de vragen en antwoorden I eerder gezien." 762 00:36:09,833 --> 00:36:13,066 Het algoritme werkte alleen omdat iemand heeft gezegd: 763 00:36:13,066 --> 00:36:16,600 "Oh, deze persoon wiens gegevens jij hebben, 764 00:36:16,600 --> 00:36:18,166 "Ze waren een goede werknemer. 765 00:36:18,166 --> 00:36:19,400 Deze andere persoon was slecht werknemer' of 'Deze persoon 766 00:36:19,400 --> 00:36:22,466 goed gepresteerd', of: 'Dit persoon heeft niet goed gepresteerd." 767 00:36:24,966 --> 00:36:27,200 O'NEIL: Omdat algoritmen zoek niet alleen naar patronen, 768 00:36:27,200 --> 00:36:29,300 ze zoeken naar patronen van succes, hoe het ook gedefinieerd wordt. 769 00:36:29,300 --> 00:36:32,800 Maar de definitie van succes is echt van cruciaal belang 770 00:36:32,800 --> 00:36:35,800 waar dat uiteindelijk toe leidt zijn. 771 00:36:35,800 --> 00:36:37,733 En heel veel meningen 772 00:36:37,733 --> 00:36:40,733 is ingebed in, wat, wat doet succes eruit zien? 773 00:36:43,066 --> 00:36:44,600 VERTELLER: In het geval van algoritmen 774 00:36:44,600 --> 00:36:47,500 menselijke keuzes spelen een cruciale rol rol. 775 00:36:47,500 --> 00:36:50,166 O'NEIL: De gegevens zelf zijn samengesteld. 776 00:36:50,166 --> 00:36:52,600 Iemand heeft besloten wat gegevens te verzamelen. 777 00:36:52,600 --> 00:36:55,700 Iemand heeft besloten welke gegevens was niet relevant toch? 778 00:36:55,700 --> 00:36:58,233 En ze sluiten niet uit het noodzakelijkerwijs 779 00:36:58,233 --> 00:36:59,833 opzettelijk-- het kunnen blinde vlekken zijn. 780 00:36:59,833 --> 00:37:03,400 VERTELLER: De noodzaak om te identificeren zulke vergissingen 781 00:37:03,400 --> 00:37:04,400 wordt urgenter 782 00:37:04,400 --> 00:37:09,566 naarmate de technologie meer vergt besluitvorming. 783 00:37:09,566 --> 00:37:11,966 ♪ ♪ 784 00:37:11,966 --> 00:37:15,200 Denk aan gezichtsherkenning technologie, 785 00:37:15,200 --> 00:37:16,366 gebruikt door wetshandhavers 786 00:37:16,366 --> 00:37:19,100 in steden over de hele wereld toezicht. 787 00:37:22,933 --> 00:37:24,633 In Detroit, 2018, 788 00:37:24,633 --> 00:37:28,466 wetshandhaving keek naar gezicht herkenningstechnologie 789 00:37:28,466 --> 00:37:29,866 toen er voor $ 3.800 aan horloges was 790 00:37:29,866 --> 00:37:34,433 werden gestolen uit een luxe boetiek. 791 00:37:35,766 --> 00:37:38,066 De politie heeft een stilstaand beeld verwijderd de bewakingsvideo van de winkel 792 00:37:38,066 --> 00:37:42,833 door hun gezichtsherkenning systeem om een match te vinden. 793 00:37:42,833 --> 00:37:46,233 Hoe verander ik een gezicht in cijfers 794 00:37:46,233 --> 00:37:47,866 waarmee vergelijkingen kunnen werken? 795 00:37:47,866 --> 00:37:50,666 Je draait de afzonderlijke pixels op de foto van dat gezicht 796 00:37:50,666 --> 00:37:53,933 in waarden. 797 00:37:56,133 --> 00:37:59,466 Waar het echt naar op zoek is zijn complexe patronen 798 00:37:59,466 --> 00:38:01,733 over die pixels heen. 799 00:38:01,733 --> 00:38:04,700 De volgorde van het nemen van a patroon van cijfers 800 00:38:04,700 --> 00:38:06,666 en het transformeren ervan 801 00:38:06,666 --> 00:38:08,366 in kleine randen en hoeken, 802 00:38:08,366 --> 00:38:14,100 en transformeer dat vervolgens in ogen en jukbeenderen en snorren. 803 00:38:15,633 --> 00:38:16,766 VERTELLER: Om die match te vinden, 804 00:38:16,766 --> 00:38:21,900 Er kan op het systeem worden getraind miljarden foto's. 805 00:38:23,533 --> 00:38:26,100 Gezichtsherkenning maakt gebruik van een klasse van machinaal leren 806 00:38:26,100 --> 00:38:28,433 diep leren genoemd. 807 00:38:28,433 --> 00:38:30,666 De modellen gebouwd door deep technieken leren 808 00:38:30,666 --> 00:38:35,833 worden neurale netwerken genoemd. 809 00:38:35,833 --> 00:38:37,033 VENKATASUBRAMANIAN: Een neuraal netwerk 810 00:38:37,033 --> 00:38:39,266 is, weet je, gestileerd als jij Weet je, proberen te modelleren 811 00:38:39,266 --> 00:38:41,800 hoe neuraal Er werken routes in de hersenen. 812 00:38:43,566 --> 00:38:44,566 Je kunt hierbij denken aan een neurale netwerk 813 00:38:44,566 --> 00:38:50,033 als een verzameling neuronen. 814 00:38:50,033 --> 00:38:51,633 Dus je stopt een aantal waarden in a neuron, 815 00:38:51,633 --> 00:38:55,900 en als ze voldoende zijn, ze vormen samen een bepaald aantal, 816 00:38:55,900 --> 00:38:57,233 of ze overschrijden een drempel, 817 00:38:57,233 --> 00:39:01,200 deze zal vuren en wegsturen een nieuw nummer voor het volgende neuron. 818 00:39:01,200 --> 00:39:03,666 VERTELLER: Bij een bepaalde drempel 819 00:39:03,666 --> 00:39:05,966 het neuron zal naar de vuren volgende neuron. 820 00:39:05,966 --> 00:39:10,666 Als het onder de drempel ligt, het neuron vuurt niet. 821 00:39:10,666 --> 00:39:12,766 Dit proces herhaalt zich en herhaalt 822 00:39:12,766 --> 00:39:14,900 over honderden, mogelijk thousands of layers, 823 00:39:14,900 --> 00:39:18,066 verbindingen maken zoals de neuronen in onze hersenen. 824 00:39:18,066 --> 00:39:19,833 ♪ ♪ 825 00:39:19,833 --> 00:39:24,133 De output is voorspellend overeenkomen. 826 00:39:27,266 --> 00:39:28,433 Gebaseerd op gezichtsherkenning overeenkomen, 827 00:39:28,433 --> 00:39:32,466 in januari 2020, de De politie arresteerde Robert Williams 828 00:39:32,466 --> 00:39:35,000 wegens diefstal van de horloges. 829 00:39:37,033 --> 00:39:38,833 De volgende dag werd hij vrijgelaten. 830 00:39:38,833 --> 00:39:42,733 Williams had niet alleen een alibi, 831 00:39:42,733 --> 00:39:46,233 maar het was niet zijn gezicht. 832 00:39:46,233 --> 00:39:49,066 MING: Om er heel bot over te zijn: deze algoritmen zijn waarschijnlijk 833 00:39:49,066 --> 00:39:51,666 dramatisch overtraind witte gezichten. 834 00:39:51,666 --> 00:39:57,033 ♪ ♪ 835 00:39:57,033 --> 00:39:59,300 Dus, natuurlijk, algoritmen dat begin slecht 836 00:39:59,300 --> 00:40:01,133 kan in het algemeen verbeterd worden. 837 00:40:01,133 --> 00:40:04,400 Het Gender Shades-project gevonden dat 838 00:40:04,400 --> 00:40:07,400 bepaalde gezichtsherkenning technologie, 839 00:40:07,400 --> 00:40:09,166 wanneer ze eigenlijk testte het op zwarte vrouwen, 840 00:40:09,166 --> 00:40:15,233 het was 65% nauwkeurig, terwijl voor blanke mannen, het was 99% accuraat. 841 00:40:16,600 --> 00:40:19,733 Hoe hebben ze het verbeterd? Because they did. 842 00:40:19,733 --> 00:40:21,566 Ze hebben een algoritme gebouwd 843 00:40:21,566 --> 00:40:23,633 dat werd getraind op meer divers gegevens. 844 00:40:23,633 --> 00:40:26,433 Dus ik denk van niet volkomen een verloren zaak 845 00:40:26,433 --> 00:40:30,233 om algoritmen te verbeteren beter. 846 00:40:31,700 --> 00:40:36,300 MAN (in voice-over van de advertentie): Ik dacht altijd dat het mijn werk was ging over arrestaties. 847 00:40:36,300 --> 00:40:38,033 NEDY: LESLIE KEN Er was een paar reclamespotjes jaar geleden 848 00:40:38,033 --> 00:40:40,633 waarop een politieagent te zien was naar een benzinestation gaan 849 00:40:40,633 --> 00:40:42,700 en dan wachten op de crimineel om te verschijnen. 850 00:40:42,700 --> 00:40:44,233 MENS: We analyseren misdaadgegevens, 851 00:40:44,233 --> 00:40:46,300 vlekpatronen, 852 00:40:46,300 --> 00:40:49,166 en bedenk waar je naartoe moet sturen patrouilles. 853 00:40:49,166 --> 00:40:51,433 Ze zeiden: "Nou, ons algoritme zal het je precies vertellen 854 00:40:51,433 --> 00:40:53,466 waar de misdaad, de volgende misdaad gaat plaatsvinden." 855 00:40:53,466 --> 00:40:56,266 Nou, dat is gewoon dom, uh, het, zo werkt het niet. 856 00:40:56,266 --> 00:40:59,566 MENS: Door het eerder te stoppen gebeurt. 857 00:40:59,566 --> 00:41:00,433 (zucht) 858 00:41:00,433 --> 00:41:03,100 MENS: Laten we een slimmere planeet bouwen. 859 00:41:08,233 --> 00:41:10,566 ♪ ♪ 860 00:41:10,566 --> 00:41:12,966 JOEL CAPLAN: Begrijpen waar het over gaat deze plaatsen 861 00:41:12,966 --> 00:41:15,666 die inschakelen misdaad problemen 862 00:41:15,666 --> 00:41:18,400 ontstaan en/of blijven bestaan. 863 00:41:18,400 --> 00:41:21,433 VERTELLER: Aan de Rutgers Universiteit, 864 00:41:21,433 --> 00:41:22,666 de onderzoekers die het hebben uitgevonden 865 00:41:22,666 --> 00:41:26,366 het misdaadkarteringsplatform genaamd Risk Terrain Modeling, 866 00:41:26,366 --> 00:41:28,366 of RTM, 867 00:41:28,366 --> 00:41:30,866 borstelen op de term "voorspellend politiewerk." 868 00:41:30,866 --> 00:41:36,100 CAPLAN (voice-over): Wij willen niet voorspellen, wij willen voorkomen. 869 00:41:37,333 --> 00:41:40,000 Ik werkte als politieagent a lang geleden, 870 00:41:40,000 --> 00:41:41,266 begin jaren 2000. 871 00:41:41,266 --> 00:41:46,866 De politie verzamelde gegevens voor als zolang de politie bestaat. 872 00:41:46,866 --> 00:41:50,100 Nu is er een grotere herkenning 873 00:41:50,100 --> 00:41:52,600 dat gegevens waarde kunnen hebben. 874 00:41:52,600 --> 00:41:55,300 Maar het is niet alleen over de gegevens. 875 00:41:55,300 --> 00:41:56,766 Het gaat erom hoe je het analyseert, hoe je die resultaten gebruikt. 876 00:41:56,766 --> 00:42:00,400 Er zijn slechts twee datasets die dat doen gebruik van risicoterreinmodellering. 877 00:42:00,400 --> 00:42:02,666 Deze datasets zijn lokaal, 878 00:42:02,666 --> 00:42:07,866 actuele informatie over criminaliteit incidenten binnen een bepaald gebied 879 00:42:07,866 --> 00:42:11,033 en informatie over ecologische kenmerken 880 00:42:11,033 --> 00:42:12,566 die in dat landschap bestaan, 881 00:42:12,566 --> 00:42:13,733 zoals bars, fastfood restaurants, 882 00:42:13,733 --> 00:42:17,900 gemakswinkels, scholen, parken, steegjes. 883 00:42:19,400 --> 00:42:20,866 KENNEDY: Het algoritme is in principe 884 00:42:20,866 --> 00:42:24,100 de relatie hiertussen ecologische kenmerken 885 00:42:24,100 --> 00:42:27,066 en de uitkomstgegevens, wat in dit geval misdaad is. 886 00:42:27,066 --> 00:42:28,966 Het algoritme biedt u een kaart 887 00:42:28,966 --> 00:42:32,000 of the distribution of de risicowaarden. 888 00:42:33,266 --> 00:42:35,600 ALEJANDRO GIME NEZ-SANTANA: Dit is het gebied met het hoogste risico, 889 00:42:35,600 --> 00:42:37,000 op deze commerciële corridor Bloomfieldlaan. 890 00:42:37,000 --> 00:42:41,733 VERTELLER: Maar het algoritme is niet bedoeld alleen voor gebruik door de politie. 891 00:42:41,733 --> 00:42:44,866 Criminoloog Alejandro Giminez-Santana 892 00:42:44,866 --> 00:42:47,233 leidt de openbare veiligheid van Newark Samenwerkend, 893 00:42:47,233 --> 00:42:51,033 een verzameling van 40 gemeenschap organisaties. 894 00:42:51,033 --> 00:42:53,266 Ze gebruiken RTM als diagnose gereedschap 895 00:42:53,266 --> 00:42:58,266 om te begrijpen, niet alleen waar misdaad kan daarna gebeuren, 896 00:42:58,266 --> 00:43:00,833 maar waarom. 897 00:43:00,833 --> 00:43:03,466 GIME NEZ-SANTANA: Via RTM brengen wij dit in kaart commerciële corridor 898 00:43:03,466 --> 00:43:05,000 op Bloomfield Avenue, dat is waar we nu zijn, 899 00:43:05,000 --> 00:43:08,733 als een risicovol gebied voor autodiefstal vanwege stationair draaiende auto. 900 00:43:08,733 --> 00:43:09,866 Dus waarom is deze ruimte 901 00:43:09,866 --> 00:43:12,633 vooral problematisch als dat zo is gaat het om autodiefstal? 902 00:43:14,166 --> 00:43:16,033 Eén is omdat we in een commerciële corridor, 903 00:43:16,033 --> 00:43:17,533 waar sprake is van een hoge dichtheid van mensen 904 00:43:17,533 --> 00:43:20,900 die naar de schoonheid gaan salon of om naar een restaurant te gaan. 905 00:43:20,900 --> 00:43:22,533 Uber-bezorging en Uber Eats, 906 00:43:22,533 --> 00:43:24,766 bezorgers die komen halen bestellingen die ook 907 00:43:24,766 --> 00:43:26,833 en hun auto achterlaten rennen 908 00:43:26,833 --> 00:43:28,433 creëer hiervoor de voorwaarden misdaad 909 00:43:28,433 --> 00:43:31,233 zich hierin te concentreren bepaald gebied. 910 00:43:31,233 --> 00:43:33,166 Wat de gegevens ons lieten zien was: 911 00:43:33,166 --> 00:43:35,966 er was sprake van een enorme stijging diefstallen van auto's. 912 00:43:35,966 --> 00:43:39,233 But we convinced the police afdeling 913 00:43:39,233 --> 00:43:41,500 om er nog een te nemen aanpak van de sociale dienstverlening. 914 00:43:41,500 --> 00:43:43,966 VERTELLER: Gemeenschapsorganisatoren overtuigd politie 915 00:43:43,966 --> 00:43:46,833 niet om stationair draaiende auto's te bekeuren, 916 00:43:46,833 --> 00:43:48,366 en laat organisatoren creëren 917 00:43:48,366 --> 00:43:51,666 een effectief publiek bewustzijn postercampagne in plaats daarvan. 918 00:43:51,666 --> 00:43:54,166 En we brachten het naar de Newark studenten 919 00:43:54,166 --> 00:43:57,166 deze flyer in te dienen campagne, 920 00:43:57,166 --> 00:44:00,200 en hun kunstwerken op de echte vlieger. 921 00:44:00,200 --> 00:44:02,866 GIME NEZ-SANTANA: Zoals je ziet is dit de commerciële corridor 922 00:44:02,866 --> 00:44:04,533 aan de Bloomfieldlaan. 923 00:44:04,533 --> 00:44:05,766 De sitescore toont een zes, 924 00:44:05,766 --> 00:44:07,333 wat betekent dat we bij de hoogste risico op autodiefstal 925 00:44:07,333 --> 00:44:09,533 op deze specifieke locatie. 926 00:44:09,533 --> 00:44:11,100 En naarmate ik dichter bij het einde kom 927 00:44:11,100 --> 00:44:14,800 van de commerciële corridor, de De risicoscore van de site daalt. 928 00:44:14,800 --> 00:44:17,066 VERTELLER: Dit is de eerste keer in Newark 929 00:44:17,066 --> 00:44:19,500 waar politiegegevens voor staan misdaad voorvallen 930 00:44:19,500 --> 00:44:23,300 zijn breed gedeeld leden van de gemeenschap. 931 00:44:23,300 --> 00:44:26,233 ELVIS PEREZ: Het soort gegevens dat we delen zijn incidentgerelateerde gegevens-- 932 00:44:26,233 --> 00:44:29,333 soort tijd, locatie, dat soort informatie. 933 00:44:29,333 --> 00:44:31,466 We bespreken geen privézaken arrestatie informatie. 934 00:44:31,466 --> 00:44:35,533 We proberen een misdaad te vermijden. 935 00:44:37,900 --> 00:44:39,633 VERTELLER: In 2019, 936 00:44:39,633 --> 00:44:42,600 Caplan en Kennedy vormden een start-up bij Rutgers 937 00:44:42,600 --> 00:44:45,533 om aan de stijgende vraag naar te voldoen hun technologie. 938 00:44:45,533 --> 00:44:49,133 Ondanks het vele mogelijke aanvragen voor RTM, 939 00:44:49,133 --> 00:44:51,866 van het volgen van de volksgezondheid problemen 940 00:44:51,866 --> 00:44:53,566 voertuig te begrijpen crasht, 941 00:44:53,566 --> 00:44:59,733 wetshandhaving blijft bestaan zijn voornaamste toepassing. 942 00:44:59,733 --> 00:45:01,433 Net als elke andere technologie, 943 00:45:01,433 --> 00:45:04,333 risico-terreinmodellering kan zijn gebruikt voor het algemeen belang 944 00:45:04,333 --> 00:45:06,433 als mensen het verstandig gebruiken. 945 00:45:08,833 --> 00:45:14,866 ♪ ♪ 946 00:45:14,866 --> 00:45:17,833 Wij als academici en wetenschappers, we moeten eigenlijk kritisch zijn, 947 00:45:17,833 --> 00:45:20,333 omdat het de beste model ter wereld, 948 00:45:20,333 --> 00:45:21,733 het zou heel goed kunnen zijn voorspellingen, 949 00:45:21,733 --> 00:45:22,900 maar hoe je die gebruikt voorspellingen 950 00:45:22,900 --> 00:45:24,766 is in sommige opzichten van belang zelfs meer. 951 00:45:24,766 --> 00:45:26,100 REPORTER: Het politiebureau 952 00:45:26,100 --> 00:45:28,800 had de SSL talrijk herzien keer... 953 00:45:28,800 --> 00:45:30,100 VERTELLER: In 2019, 954 00:45:30,100 --> 00:45:34,666 Chicago's inspecteur-generaal contracteerde de RAND Corporation 955 00:45:34,666 --> 00:45:38,033 om de Strategische te evalueren Onderwerplijst, 956 00:45:38,033 --> 00:45:39,566 het voorspellende politieplatform 957 00:45:39,566 --> 00:45:45,733 waarin die van Papachristos was opgenomen onderzoek naar sociale netwerken. 958 00:45:45,733 --> 00:45:47,400 PAPACHRISTOS: Ik wilde hier nooit naar toe gaan pad 959 00:45:47,400 --> 00:45:51,100 van wie de persoon was was de potentiële verdachte. 960 00:45:51,100 --> 00:45:53,066 En dat probleem is dat niet noodzakelijkerwijs 961 00:45:53,066 --> 00:45:55,033 met het statistische model, het is het feit dat iemand 962 00:45:55,033 --> 00:45:57,166 nam het slachtoffer en maakte hem een overtreder. 963 00:45:57,166 --> 00:46:00,133 Je hebt gecriminaliseerd iemand die gevaar loopt, 964 00:46:00,133 --> 00:46:01,666 dat je prioriteit moet geven hun leven redden. 965 00:46:01,666 --> 00:46:07,266 VERTELLER: Het bleken er ongeveer 400.000 te zijn mensen werden opgenomen op de SSL. 966 00:46:07,266 --> 00:46:13,600 Daarvan, 77% was zwart of Spaans. 967 00:46:15,133 --> 00:46:18,100 De audit van de inspecteur-generaal onthuld 968 00:46:18,100 --> 00:46:20,766 dat SSL-scores onbetrouwbaar waren. 969 00:46:20,766 --> 00:46:23,633 De Rand Corporation vond de programma had geen impact 970 00:46:23,633 --> 00:46:28,233 over moord of slachtofferschap tarieven. 971 00:46:28,233 --> 00:46:31,366 (demonstranten zingen) 972 00:46:31,366 --> 00:46:34,300 VERTELLER: Het programma werd afgesloten. 973 00:46:37,166 --> 00:46:38,266 Maar de dataverzameling gaat door 974 00:46:38,266 --> 00:46:41,666 essentieel zijn voor de wet handhaving. 975 00:46:41,666 --> 00:46:45,300 ♪ ♪ 976 00:46:45,300 --> 00:46:47,933 O'NEIL: Er zijn dingen over ons dat we misschien niet eens zouden zijn 977 00:46:47,933 --> 00:46:51,300 Houd er rekening mee dat dit een soort van is wordt verzameld 978 00:46:51,300 --> 00:46:52,933 door de datamakelaars 979 00:46:52,933 --> 00:46:55,066 en zal tegen ons worden gebruikt de rest van ons leven-- 980 00:46:55,066 --> 00:46:58,600 voor altijd tegen mensen gehouden, digitally. 981 00:46:59,733 --> 00:47:03,133 VERTELLER: Er worden gegevens geproduceerd en verzameld. 982 00:47:03,133 --> 00:47:05,500 Maar is het accuraat? 983 00:47:05,500 --> 00:47:08,500 En kunnen de gegevens dat zijn? goed doorgelicht? 984 00:47:08,500 --> 00:47:09,633 PAPACHRISTOS: En dat was er één van kritieken 985 00:47:09,633 --> 00:47:12,866 van niet alleen de Strategische Onderwerpenlijst, 986 00:47:12,866 --> 00:47:14,166 maar de bendedatabase is binnen Chicago. 987 00:47:14,166 --> 00:47:18,066 Elke gegevensbron die gegevens verwerkt als een stagnerende, eeuwige toestand 988 00:47:18,066 --> 00:47:20,366 is een probleem. 989 00:47:23,400 --> 00:47:25,433 VROUW: De bendedatabase is geweest ongeveer vier jaar. 990 00:47:25,433 --> 00:47:28,266 In januari zijn het er vijf. 991 00:47:28,266 --> 00:47:30,900 Wij willen er vanaf toezicht 992 00:47:30,900 --> 00:47:33,000 in zwarte en bruine gemeenschappen. 993 00:47:33,000 --> 00:47:34,833 BENJAMIN: In plaatsen als Chicago, 994 00:47:34,833 --> 00:47:37,366 in plaatsen als L.A., waar ik ben opgegroeid, 995 00:47:37,366 --> 00:47:40,666 er zijn bendedatabases met tienduizenden 996 00:47:40,666 --> 00:47:43,766 van de genoemde mensen, hun namen vermeld in deze databanken. 997 00:47:43,766 --> 00:47:45,900 Gewoon door simpelweg een bepaald ding te hebben naam 998 00:47:45,900 --> 00:47:47,900 en afkomstig van een bepaald Postcode 999 00:47:47,900 --> 00:47:50,500 zou je hierin kunnen belanden databases. 1000 00:47:50,500 --> 00:47:53,033 Voelen jullie je allemaal veilig? in Chicago? 1001 00:47:53,033 --> 00:47:54,333 DARRELL DACRES: De politie stapte uit nergens. 1002 00:47:54,333 --> 00:47:59,233 Ik heb gewoon geen vragen gesteld begin meteen tegen ons te slaan. 1003 00:47:59,233 --> 00:48:00,466 En eigenlijk zeiden we: zoals, 1004 00:48:00,466 --> 00:48:02,833 wat zijn, wat zijn we aan het doen? hier, weet je, zoals, 1005 00:48:02,833 --> 00:48:04,500 in deze, in deze gangbangruimte? 1006 00:48:04,500 --> 00:48:07,033 Ik werd al bestempeld als een gangbanger 1007 00:48:07,033 --> 00:48:08,866 uit dat gebied vanwege waar Ik leefde. 1008 00:48:08,866 --> 00:48:10,733 Ik, ik leefde toevallig daar. 1009 00:48:12,733 --> 00:48:13,900 VERTELLER: The Chicago gang database 1010 00:48:13,900 --> 00:48:17,700 wordt gedeeld met honderden van wetshandhavingsinstanties. 1011 00:48:17,700 --> 00:48:19,533 Zelfs als iemand ongelijk heeft inbegrepen, 1012 00:48:19,533 --> 00:48:24,733 er is geen mechanisme om hun naam te laten verwijderen. 1013 00:48:24,733 --> 00:48:27,166 Als je het probeert een appartement aanvragen, 1014 00:48:27,166 --> 00:48:29,633 of als je het probeert solliciteren naar een baan of een universiteit, 1015 00:48:29,633 --> 00:48:34,833 of zelfs in een, eh, een huis zal laten zien 1016 00:48:34,833 --> 00:48:37,800 waarvan u in dit verslag staat een bendedatabase. 1017 00:48:37,800 --> 00:48:39,600 Ik werd vreedzaam gearresteerd protesteren. 1018 00:48:39,600 --> 00:48:42,100 En ze vertelden me dat: "Wel, 1019 00:48:42,100 --> 00:48:43,966 je staat in de bendedatabase." 1020 00:48:43,966 --> 00:48:46,333 Maar ik heb nooit in een bende gezeten. 1021 00:48:46,333 --> 00:48:47,466 MENS: Omdat je een bende hebt aanduiding, 1022 00:48:47,466 --> 00:48:49,500 je bent een veiligheidsdreigingsgroep, 1023 00:48:49,500 --> 00:48:51,200 toch? 1024 00:48:51,200 --> 00:48:52,500 VERTELLER: Onderzoekers en activisten 1025 00:48:52,500 --> 00:48:54,900 hebben een grote rol gespeeld demontage 1026 00:48:54,900 --> 00:48:57,366 sommige van deze systemen. 1027 00:48:57,366 --> 00:48:58,466 En dus blijven we aandringen terug. 1028 00:48:58,466 --> 00:48:59,333 Ik bedoel, het gevecht gaat niet door afmaken 1029 00:48:59,333 --> 00:49:01,200 totdat we er vanaf zijn de databank. 1030 00:49:01,200 --> 00:49:02,600 ♪ ♪ 1031 00:49:02,600 --> 00:49:05,233 FERGUSON: Ik denk wat we nu zien 1032 00:49:05,233 --> 00:49:07,766 is geen stap weg van data. 1033 00:49:07,766 --> 00:49:11,300 Het is slechts een stap verder dan dit term ‘predictive policing’. 1034 00:49:11,300 --> 00:49:14,233 Maar we zien het groots bedrijven, 1035 00:49:14,233 --> 00:49:15,666 Big Tech, ga bij de politie ruimte. 1036 00:49:15,666 --> 00:49:19,566 Wij zien de realiteit bijna alle politie nu 1037 00:49:19,566 --> 00:49:21,900 is datagedreven. 1038 00:49:21,900 --> 00:49:23,633 Je ziet dezelfde politie afdelingen 1039 00:49:23,633 --> 00:49:25,266 zwaar investeren in de technologie, 1040 00:49:25,266 --> 00:49:28,400 inclusief andere vormen van bewakingstechnologie, 1041 00:49:28,400 --> 00:49:30,600 inclusief andere vormen van databanken 1042 00:49:30,600 --> 00:49:32,433 om de politie een beetje te beheren. 1043 00:49:32,433 --> 00:49:33,833 (zingen): Wij willen je eruit! 1044 00:49:33,833 --> 00:49:37,366 VERTELLER: Er roepen meer burgers om regelgeving 1045 00:49:37,366 --> 00:49:38,566 om algoritmen te controleren 1046 00:49:38,566 --> 00:49:42,200 en garandeer dat ze dat zijn waarmaken wat ze beloven 1047 00:49:42,200 --> 00:49:43,433 zonder schade. 1048 00:49:43,433 --> 00:49:46,900 BRAYNE: Ironisch genoeg is er heel veel weinig gegevens 1049 00:49:46,900 --> 00:49:49,300 over het gebruik van big data door de politie. 1050 00:49:49,300 --> 00:49:52,333 En er zijn geen systematische gegevens 1051 00:49:52,333 --> 00:49:54,766 op nationaal niveau over de manier waarop deze instrumenten worden gebruikt. 1052 00:49:54,766 --> 00:49:57,800 De inzet van deze tools 1053 00:49:57,800 --> 00:50:00,100 tot nu toe overtreft 1054 00:50:00,100 --> 00:50:02,633 juridische en regelgevende reacties aan hen. 1055 00:50:02,633 --> 00:50:03,600 Wat er bij jou gebeurt 1056 00:50:03,600 --> 00:50:06,633 is in wezen deze regelgeving Wilde Westen. 1057 00:50:08,000 --> 00:50:09,333 O'NEIL: En wij zeggen: "Wel, het is een algoritme, 1058 00:50:09,333 --> 00:50:11,366 laten we, laten we het gewoon gooien in productie.” 1059 00:50:11,366 --> 00:50:13,066 Zonder te testen of 1060 00:50:13,066 --> 00:50:18,966 het "werkt" voldoende, Ehm, helemaal niet. 1061 00:50:20,333 --> 00:50:22,833 VERTELLER: Meerdere verzoeken om commentaar 1062 00:50:22,833 --> 00:50:23,966 van politiebureaus en wetshandhavers 1063 00:50:23,966 --> 00:50:27,766 in diverse steden, waaronder Chicago en New York, 1064 00:50:27,766 --> 00:50:31,933 werden afgewezen of gingen onbeantwoord. 1065 00:50:31,933 --> 00:50:36,966 ♪ ♪ 1066 00:50:36,966 --> 00:50:40,533 Kunstmatige intelligentie moet mensen dienen, 1067 00:50:40,533 --> 00:50:42,666 en dus kunstmatig intelligentie 1068 00:50:42,666 --> 00:50:44,333 moet altijd voldoen met de rechten van mensen. 1069 00:50:44,333 --> 00:50:49,533 VERTELLER: De Europese Unie bereidt zich voor wetgeving ten uitvoer te leggen 1070 00:50:49,533 --> 00:50:51,433 kunstmatig te reguleren intelligentie. 1071 00:50:51,433 --> 00:50:56,833 In 2021 komen er wetsvoorstellen om data te reguleren wetenschappelijke algoritmen 1072 00:50:56,833 --> 00:50:59,666 werden geïntroduceerd in 17 staten, 1073 00:50:59,666 --> 00:51:03,500 en uitgevaardigd in Alabama, Colorado, 1074 00:51:03,500 --> 00:51:05,466 Illinois en Mississippi. 1075 00:51:05,466 --> 00:51:07,666 SWEENEY: Als je goed kijkt elektrische apparaten, 1076 00:51:07,666 --> 00:51:10,766 je ziet 'U.L.' voor Underwriters Laboratorium. 1077 00:51:10,766 --> 00:51:11,933 Dat is een proces dat kwam over 1078 00:51:11,933 --> 00:51:13,533 zodat dingen, wanneer je de stekker in het stopcontact steekt ze binnen, 1079 00:51:13,533 --> 00:51:14,900 is niet in je hand ontploft. 1080 00:51:14,900 --> 00:51:16,366 Dat is hetzelfde soort idee 1081 00:51:16,366 --> 00:51:18,966 that we need in these algoritmen. 1082 00:51:21,300 --> 00:51:24,266 O'NEIL: Wij kunnen het aanpassen om te maken het is beter dan vroeger, 1083 00:51:24,266 --> 00:51:25,900 en we kunnen het zorgvuldig doen, 1084 00:51:25,900 --> 00:51:28,100 en we kunnen het doen met, met precisie 1085 00:51:28,100 --> 00:51:30,833 in een voortdurend gesprek over wat het voor ons betekent 1086 00:51:30,833 --> 00:51:34,066 dat het zo is, het is bevooroordeeld in de juiste manier. 1087 00:51:34,066 --> 00:51:35,400 Ik denk niet dat je vooroordelen wegneemt, 1088 00:51:35,400 --> 00:51:37,900 maar je krijgt een vooroordeel dat je mee kan leven, 1089 00:51:37,900 --> 00:51:40,633 waarvan jij denkt dat het moreel is. 1090 00:51:40,633 --> 00:51:43,000 Voor alle duidelijkheid: ik, ik denk dat we kan het beter, 1091 00:51:43,000 --> 00:51:44,566 maar vaak gaat het beter 1092 00:51:44,566 --> 00:51:47,566 het zou lijken alsof we het niet gebruiken dit helemaal niet. 1093 00:51:47,566 --> 00:51:48,766 (radio draait) 1094 00:51:48,766 --> 00:51:51,066 FARID: Er is niets fundamenteels verkeerd 1095 00:51:51,066 --> 00:51:52,333 met het proberen te voorspellen toekomst, 1096 00:51:52,333 --> 00:51:54,500 zolang je maar begrijpt hoe de algoritmen werken, 1097 00:51:54,500 --> 00:51:55,533 hoe worden ze ingezet. 1098 00:51:55,533 --> 00:51:59,133 Wat is het gevolg om het goed te krijgen? 1099 00:51:59,133 --> 00:52:00,466 En het allerbelangrijkste is, 1100 00:52:00,466 --> 00:52:03,133 waar is het gevolg van het verkeerd aanpakken? 1101 00:52:03,133 --> 00:52:04,333 OFFICIER: Houd je handen erop het stuur! 1102 00:52:04,333 --> 00:52:06,000 MENS: Mijn handen zijn niet bewogen van het stuur af! 1103 00:52:06,000 --> 00:52:07,833 MAN 2: Ga je mij arresteren? 1104 00:52:07,833 --> 00:52:08,700 MAN 1: Agent, waarvoor zijn we hier? 1105 00:52:08,700 --> 00:52:09,500 OFFICIER: Wij willen gewoon praten met... 1106 00:52:31,333 --> 00:52:34,533 ♪ ♪ 1107 00:52:55,500 --> 00:52:58,566 OMKELLER: Dit programma is beschikbaar met PBS-paspoort 1108 00:52:58,566 --> 00:53:00,866 en op Amazon Prime Video. 1109 00:53:00,866 --> 00:53:04,833 ♪ ♪ 1110 00:53:15,366 --> 00:53:20,933 ♪ ♪